Question

Весь раздел новостей (их там около 5тыс) стоит noindex, nofollow.

Гугл ругается: Страница, связанная с отправленным URL, содержит тег noindex

После чего запретили вообще Disallow: /news/

Теперь имеем ошибку: Доступ к отправленному URL заблокирован в файле robots.txt

Я так понимаб проблема в том что все ссылки на новости генерируются в sitemap, а оттуда робот не может получить доступ и выдает такие ошибки, причем они растут из года в год как и количесво новостей. Как решить проблему?

Comments

Если вам не нужно индексировать модуль, тогда вы правильно все сделали. А на эту ошибку что вам говорит гугл не стоит обращать внимания, гугл вас информирует, что запрещен доступ в роботс, так как вы прописали запрет и гугл теперь не имеет доступа к индексации модуля. Все правильно. На сообщение гугла не обращайте внимания, это лишь информирование.

---

Он не просто информирует а выводит как злостную ошибку на 4.7тыс ссылок, эта ошибка со временем не исчезает, а сайт падает в выдаче постепенно. Как все таки можно это решить и убрать из Sitemap?

Answer 1

почему вы закрыли для индексации весь модуль новости. из карты сайта можно удалить только сделав неактивными все новости. потом нужно удалить карту или файлового менеджера и перейти по ссылке карты снова для обновления. после передать карту гуглу снова

Comments

Потому что на новости ссылаются соц сети, рассылка и тд. Но тк новости не написаны собственноручно, чтобы не попасть под разные фильтры, закрыли их от индексации. Удалять новости нельзя.