Question

На сайте http://obkon.ucoz.com/ в robots.txt   стоит Disallow: /*0-*-0-17$ 

Но в статистике обхода продолжают появляться ссылки типа:

/forum/52-6339-0-17-1

/forum/59-6335-0-17

Знатоков прошу порекомендовать в чём причина, и что делать ???

Владимир

 

Answer 1

В роботсе ссылки запрещаются к индексации, но эти директивы не запрещают выполнять обход по этим ссылкам для роботов, особенно для гугла, ему вообще роботс не важен практически и он мимо всех запретов ходит и все выкачивает и проверяет. Главное, что стоит директива запрета, а что роботы ее обходят, не обращайте внимания.

Comments

Понял. Спасибо.