Question

Добрый день.
Получил письмо от webmaster.yandex.ru следующего содержания, цитирую:
"2024-03-04 изменился файл robots.txt сайта ruslekar.com.
Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.Это важный файл: ошибка в нём может привести к тому, что поисковый робот не сможет добавить страницы сайта в поисковый индекс, и они не появятся в результатах поиска.
Пожалуйста, проверьте, что с robots.txt всё в порядке. Если в ходе проверки обнаружатся ошибки, исправьте их как можно скорее."

При просмотре файла robots.txt я вижу, что из него куда-то исчезла строка:
Sitemap: https://ruslekar.com/sitemap-forum.xml
Нормально ли это ?
Нужно ли мне вручную править файл robots.txt ?

Answer 1

Мы обновили стандартный robots.txt.

Файл карты сайта форума дублировался в файл роботс, но так как мы обновили структуру системной карты сайта: https://ruslekar.com/sitemap.xml куда теперь добавляются sitemap всех модулей, теперь дублирование в роботсе не нужно.

Хотя, вы можете залить системный роботс себе на фтп и заново туда прописать строку для подключения файла форума. Это не критически и ни на что не влияет, но если вам так будет лучше, можете прописать вручную.