Проиндексировано, несмотря на блокировку в файле robots.txt

голоса: 0

Гугл в вебмастере написал: Проиндексировано, несмотря на блокировку в файле robots.txt

И предлагает исправить файл robots.txt.

А прииндексировал совсем уж технические страницы, например: https://hot-music.org/_ld/0/43_Ani_Lorak-we_break.mp3 или https://hot-music.org/_ld/0/42_j-hope_Chicken_.mp3.

Вот вообще не поймузачем индексировал: https://hot-music.org/index/778

 

Что рекомендуется делать в таких случаях? Менять файл robots.txt.как рекомендует гугл? Подскажите.

Адрес сайта https://hot-music.org
| Автор: | Категория: Google Вебмастер
Изменение категории | | Автор: Yuri_Geruk

Ответов: 1

голоса: 0
 
Лучший ответ
Ничего не делать, у меня так же отображается в вебмастере гугла. Гугл слишком упертый и ему не слишком важны директивы запретов которые прописаны в роботсе, он их обходит, выкачивает весь сайт несмотря на запреты.
| Автор:
Выбор ответа лучшим | | Автор: Фёдор Тимофеев
...