Question

Добрый день! Подскажите пожалуйста, В Яндекс.Вебмастер. сайт начал индексироваться, прошло уже 4 недели. Результата нет. Гугл уже нашел несколько страниц. Читала форумы про карантин, robots.txt, sitemap, не могу понять до конца их. Сейчас мой robots.txt выглядит так: 

User-agent: *
Disallow:

Как составить robots.txt более правильно, чтобы ускорить индексирование сайта? После редактирования robots.txt в файловом менеджере, вебмастер автоматически определит исправление или нужно пройти какие-то шаги?

Answer 1

Да, можете отредактировать. Отредактируйте ваш роботс и доведите до вида:

User-agent: * 
Allow: /*?page 
Allow: /*?ref= 
Disallow: /*? 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/3 
Disallow: /register 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /index/sub/ 
Disallow: /panel/ 
Disallow: /admin/ 
Disallow: /informer/ 
Disallow: /secure/ 
Disallow: /poll/ 
Disallow: /search/ 
Disallow: /abnl/ 
Disallow: /*_escaped_fragment_= 
Disallow: /*-*-*-*-987$ 
Disallow: /shop/checkout/ 
Disallow: /shop/user/ 
Disallow: /*0-*-0-17$ 
Disallow: /*-0-0- 

Sitemap: http://osmin96.ru/sitemap.xml 
Sitemap: http://osmin96.ru/sitemap-shop.xml

Зачем вы ранее удалили все содержимое с роботса? стандартный с карантином должен был бы быть следующим:

User-agent: * 
Disallow: /

у вас он отличается, то есть вы сами редактировали.

Comments

Это нормально у меня сайт так же индексировал щас отлично все