Question

так оно и есть? а они правильные? вот пример:

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte


User-agent: *
Allow: /*?page*
Disallow: /a/
Disallow: /api/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /*?*
Disallow: /*_escaped_fragment_=
Disallow: /blog/*-987
Disallow: /blog/*-0-


Sitemap: http://sait/sitemap.xml
Sitemap: http://sait/sitemap-forum.xml

Answer 1

Да. Это стандартный файл robots.txt

Comments

может стоит его заменить на более проще?
типа
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /*?*
Disallow: /*?
Disallow: /?ssid=
Disallow: /gb

Host: сайт

Sitemap: http://сайт/sitemap.xml

---

не нужно. оставьте системный