правильность robots.txt

голоса: 0

Здравствуйте.

В robots.txt появились следующие строчки после пересоздания файла:

 Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif Allow: /*?page Allow: /*?ref=

 

Они должны быть?

Адрес сайта https://knigosvod.ru/
| Автор: | Категория: SEO
Изменение категории | | Автор: webanet

Ответов: 1

голоса: 0
 
Лучший ответ
да. они должны быть.
| Автор:
Выбор ответа лучшим | | Автор: FaNaT
У меня есть два сайта постарше, но у них такого нет. Стоит туда добавить?
FaNaT,

нет, потому что файлы старые и не обновлялись давно. стоит добавить. это нужно для индексации страниц пагинации 

 Allow: /*?page

если пагинация не нужна не добавляйте. остальное надо

...