В поиске страницы,которые там не должны быть

голоса: 0

Почему страница /shop/compare , /shop/basket ( => /shop/checkout), /shop/checkout и непонятная страница /index/0-1 есть в Гугле,если в robots.txt они заблокированы?

Адрес сайта can-am.com.ua
| Автор: | Категория: SEO

Ответов: 1

голоса: 0
Если файл роботс недавно изменялся, проблемы могут быть из-за этого. Стоит ожидать следующее объявление поисковой базы.
| Автор:
Страница заказа там прописана изначально,а страницу сравнения нескромный недель назад прописал.Но вот почему так?
robots.txt имеет рекомендательный характер. поисковые системы могут проигнорировать директивы. гугл скачивает сайт полностью. это значит в базе есть все страницы и они и будут там дальше. в выдачу по запросу эти страницы не должны попадать, но если вы делаете прямые запросы на эти страницы вы и получаете их в поиске
webanet,
Проиндексировано, несмотря на блокировку в файле robots.txt  Дата обнаружения: 25.05.2019  Статус: Предупреждение https://can-am.com.ua/index/3 Это так же?
Can-Am BRP,
Вам выше дан ответ. Гугл не сильно обращает внимание на директивы в роботс и индексирует все подряд. Это яндекс более лоялен и принимает их во внимание.
...