Question

У меня поисковик гугл ругается на мой файл Robots.txt, а у яндекса более менее нормально, в ыем проблема? Как мне настроить правильно Robots.txt для всех ботов?

Вот мой Robots.txt - http://truckmods.ru/robots.txt

Answer 1

Ссылку на сайт предоставьте так как гадать по скриншоту где вы допустили ошибки невозможно.

Comments

Вот сайт http://truckmods.ru/

---

Просьба ответьте, как мне настроить правильно robots.txt для всех ботов

---

Жека,

Все правильно настроено, удалите лишь:

Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/

так как это для модуля магазин, оно для вас ненужно и в самом начале роботса перед всем кодом с пробелом в одну строку добавьте код:

User-agent:

Googlebot-Mobile
Allow: /

это полный доступ для мобильного робота гугла, вот и все.

---

Yuri_Geruk,

А эти строки удалить?

User-agent: *
Allow: /*?page
Allow: /*?ref=

---

Yuri_Geruk,

Правильно сейчас настроиен robots.txt ? http://truckmods.ru/robots.txt

---

Евгений Хмелевой,

Да, все правильно и ничего лишнего.