Question

Здравствуйте. Вопрос такой, если можно ответьте также по пунктам.  1. Для чего нужны в robots.txt строки, что они запрещали индексировать раньше и почему их нет в современном robots.txt для ucoz  Disallow: /a/ Disallow: /index/2  2. Почему запрещен к индексированию Disallow: /stat/ но разрешен к индексированию Allow: /stat/dspixel  3. Для чего разрешается к индексированию Allow: /*?ref= и Allow: /*?page  Заранее благодарен за ответ.

Answer 1

Ознакомьтесь с материалом - http://webanetlabs.net/publ/26-1-0-736 где найдете полное описание, что и для чего используется в роботсе.

Comments

Тем не менее там нет ответов на пункты 1 и 2 вопроса.

---

Евгений Никитенко,

Это можете удалить:

Allow: /stat/dspixel

это устаревшая директива и более не нужна. Директива:

Disallow: /a/

в роботсе никогда не видел, ее там не должно быть.