Question

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. Как исправить?

Мой robots.txt

Что за проблема? Смотрю в robots.txt вроде не каких ошибок не нашёл но Гугл вебмастер пишет ошибку в заблокированном файле robots.txt. Как исправить проблему?

Answer 1

Все нормально, карта сайта содержит все урл сайта даже те которые в роботсе заблокированы, вот и сообщает вам робот гугла или яндекса, что есть урл заблдокированные в роботс. Это не есть проблема, вас роботы поисковиков просто ставят перед фактом, что такие есть, они не говорят, что это проблема и к этому не нужно относиться как к проблеме, все хорошо, так у всех пользователей которые имеют свой сайт.