Надо ли вносить изменения в robots.txt

голоса: 0
   Google обновил правила для robots.txt. Что то надо делать владельцам сайта?

Или все необходимые изменения по заполнению этого файла для сайтов на Ucoz можно найти в соответствующем обновленном мануале?

Чем  вообще чревато не приведение файла к стандартам google?

| Автор: | Категория: Google Вебмастер
Изменение категории | | Автор: Yuri_Geruk

Ответов: 1

голоса: 0
 
Лучший ответ

По сути, в роботсе ничего вам менять не нужно, большая часть изменения идет на стороне гугла и его правилах обратботки и работы с директивами. Вам с роботса советовал бы удалить директивы:

Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/

у вас нет магазина на сайте, эти директивы вам не нужны.

Для большего понимания изменений со стороны гугла для роботса, прочтите материалы:

  1. https://developers.google.com/search/reference/robots_txt?hl=ru
  2. https://ru.megaindex.com/blog/robotstxt

это для того, чтобы не возникало вопросов с стандартами.

| Автор:
Выбор ответа лучшим | | Автор: Фёдор Тимофеев
...