Исключенные страницы - Документ запрещен в файле robots.txt

Голоса: +1

Недавно в яндекс метрике появились страницы исключено роботом, довольно много, ранее их небыло. Это нормально или необходимо что то исправить? спасибо

пример страницы /search/Інструкція ведення книги обліку дох/

Адрес сайта http://blankua.com/
| Автор: | Категория: Яндекс Вебмастер
Изменение категории | | Автор: Yuri_Geruk

Ответов: 1

голоса: +2
 
Лучший ответ

Все правильно, так и должно быть. Вы к материалам добавляете теги и они имеют следующий вид если посмотреть исходник:

<a href="/search/инструкция итд/">название</a>

Далее в роботсе - http://blankua.com/robots.txt прописана директива:

Disallow: /search

Которая блокирует данные ссылки так как это мусор для поиска который не должен индексировать.

| Автор:
...