Question

На моем сайте robots.txt выглядит так http://asd-kinozal.3dn.ru/robots.txt это так и должно быть, или что то нужно добавить или изменить?

Answer 1

Текущий стандартный робот для вашего сайта должен выглядеть вот так:

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte


User-agent: *
Allow: /*?page*
Disallow: /a/
Disallow: /api/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /abnl/
Disallow: /*?*
Disallow: /*_escaped_fragment_=
Disallow: /blog/*-987
Disallow: /blog/*-0-

Sitemap: http://asd-kinozal.3dn.ru/sitemap.xml
Sitemap: http://asd-kinozal.3dn.ru/sitemap-forum.xml

Comments

Нужно просто заменить на это, что вы прислали?

---

верно, это стандартный роботс для всех новых сайтов, ссылки к sitemap для вашего сайта я уже прописал, просто замените и сохраните

---

А что этот пункт значит? (Allow: /*?page*) Это разве не значит что запрещено индексировать весь сайт кроме /page

---

это доступ робота к страница пагинации то есть переключателей страниц, чтобы робот свободно переходил по страницам и индексировал материалы

Answer 2

не нормально ...

если не разбираетесь в файле не трогайте стандартный ...

Comments

Так модет подскажешь как исправить, если не нормально?) Буду очень благодарен