Question

Мой сайт  ещё вчера был в google в ТОП 50, а сегодня его нет из-за ограничений в файле robots.txt.  После индексации сайта информационную строку об индексации на главной странице я удалил. Как понять что произошло и как вернуть индексацию?  Прошу помочь

Answer 1

воспользуйтесь функцией посмотреть сайт как google boot

Comments

webanet,

спасибо, просканировал сайт "Просмотреть как Googlebot" и оказалось,

Заблокировано

--

robots.txt

 Получается блокировка опять стоит. Что произошло и как снять блокировку?  

Но после сканирования Googlebot отправил сайт через Google Concol на индексацию и сайт появился в поиске. 

Всем большое спасибо!

Answer 2

Если сайт и был в топе, то потерял он его не из-за ограничений в роботсе так как у вас системный стандартный роботс которые закрывает от индексации лишь ненужный мусор и дубли.

• То что вам сообщается в вебмастере в сообщениях вида:

Предупреждения Доступ к URL заблокирован в файле robots.txt.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

это ничего опасного не говорит, а просто сообщается, что страницы которые запрещены в роботсе к индексации не будут индексироваться роботом и более ничего другого. 

• Если вы удалили метатег для подтверждения аутентификации сайта, то стоит его вернуть.

Comments

Я ввожу url сайта в поис Google  и вместо описания сайта получаю: 

Описание недоступно из-за ограничений в файле robots.txt.

Так было до индексации сайта. Но сайт был проиндексирован, поисковик открывал описание. Метатег я не трогал.

Что произошло? Прошу помочь разобраться в ситуации и помочь вернуть индексацию сайта.

---

Вит,

Это старая информация, вы добавили сайт в поиск когда он был на карантине, теперь нужно ждать пока робот обновит данные, ждите несколько обновлений поисковых баз.

---

Yuri_Geruk,

 Yuri_Geruk,

Спасибо, Вашими устами да мед пить. Если всё дело только в обновлении подожду робота, он, как пишут, посещает сайты раз в два дня.... 

---

вы всю картинку предоставьте страницы отображения, а не кусочек. сайт открыт для индексации. гугл ботом надо было не отобразить, а отправить на индексацию главную