Question

Здравствуйте ребята, подскажите с вопросом, раньше все было хорошо, но тут Яндекс загрузил в поиск все страницы сайта такого плана .../search/Сибирь/ если я не ошибась это результаты работы формы поиска на сайте? И если я не ошибаюсь, страницы такого плана это дубли. И если я правильно понимаю их лучше запретить для сканирования поисковиками. Разьясните пожалусто, как поставить запрет на сканирования их всех в robot файле, если я прав и их нужно закрыть для индексации. И второй вопрос нужно ли их закрывать. И последний почему появились эти страницы, сайту 2 года но раньше этих страниц в поиске не было, вывалились в веб мастере массово в промежуток времени с 24 апреля по 3 мая.

Так же хотелось бы узнать ответ на такой вопрос, как понять не потдерживаеться формат документа, как сделать что бы яндекс веб мастер не считал эти страницы ошибками. По указанным в списке страницам перехожу все нормально, открываються.

Спасибо  

Answer 1

Это теги материалов. Он являются поисковыми ссылками. Они у вас уже закрыты через файл robots.txt строчкой

Disallow: /search

Появились такие ссылки в вебмастере где? Дайте лучше скрин. На счет ошибки Не поддерживается формат, пишите в тех.поддержку Яндекса. Иногда у него бывают сбои

Comments

Да эти ссылки в графе: Документ запрещен в файле robots.txt но это ведь ошибки как я понимаю причем они появились сразу и массово, а раньше их не было. 

И их 1444 штук, как мне их удолить?

Сколько бы я в поддержку Яши не писал, ни разу мне неответили ни чего внятного общие фразы, посмотрите тот прочитайте то и прочее, там одни роботы сидят, давно бросил попытки что либо у них узнать.

---

Да эти ссылки в графе: Документ запрещен в файле robots.txt

 Так и должно быть. Они должны быть скрыты от индексации, так как это поисковые ссылки. Убрать никак. Реагировать не надо. Это просто информация. Так много, потому что видимо у вас много тегов на сайте. Но менять ничего не надо. Пугаться тоже не надо. Тем более не надо что-либо предпринимать по этому поводу