Замечания яндекса по поводу Robots.txt

голоса: 0

Привет всем! Был переезд сайта с домена yamaster.my1.ru на домен ja-hozjain.ru . Вреде все проблемы с Роботс уже давно были решины, все вроде склеилось и почти весь контент переехал на новый домен. 

Но тут получаю сообщение от Яндекс, следующего характера:

В файле robots.txt сайта yamaster.my1.ru задана противоречивая директива Host

 

20.12.2017

На сайте yamaster.my1.ru в директиве Host файла robots.txt указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.

У меня в роботсе все прописано:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
 
Sitemap: http://ja-hozjain.ru/sitemap.xml
Sitemap: http://ja-hozjain.ru/sitemap-forum.xml
 
Host: ja-hozjain.ru

 

Что ещё тут нужно менять и надо ли менять вообще?

| Автор: | Категория: Яндекс Вебмастер
Изменение категории | | Автор: Yuri_Geruk

Ответов: 2

голоса: 0
 
Лучший ответ
снимать галку с Разрешить индексацию системного поддомена нельзя. смотреть сайт нужно теперь по новому домену. если вы добавили в яндекс новый адрес ja-hozjain.ru смотрите инофрмацию по нему. по старому адресу смотреть не надо. по  предупреждениям, что пишет яндекс тоже ничего делать не надо. удалять старый системный адрес из вебмастера яндекса тоже не надо
| Автор:
Выбор ответа лучшим | | Автор: Сергей Львов
голоса: 0

Если сайт уже переиндексировался теперь в настройках сайта нужно закрыть индексацию системного поддомена. Перейти в Панель управления » Главная » Настройки » Общие настройки, далее убрать отметку с пункта » Разрешить индексацию системного поддомена » Сохранить.   Файл роботс у вас идентичен так как используется один для двух доменов, там менять ничего не нужно.

| Автор:

Здесь в общем такая ситуация. Яндекс точно переехал, а Гугл не поймёшь – пишет, что проиндексировано ещё 41 страница, а на новом домене уже 71 проиндексировал.

 

Может и правда закрыть индексирование поддомена, тогда и гугл быстрее очухается? ( в трафике ничего не потеряю – его практически нет.)

 

А надо ли старый домен из кабинета вебмастера удалять? Или он каким-то образом может ещё пригодиться? У меня просто в яндекс пару недель мучил сообщениями о 302 редиректе. Сейчас вроде меньше стало сообщений.

 

И кстати объясните толком что вообще означает вот эти коды обхода яндекс:

 

История обхода

 

 

HTTP-коды 2XX

HTTP-коды 3XX0

HTTP-коды 4XX0

Что они показывают? (простым языком) а то я смотрю на этот график как вошь на гребешок и не знаю, что он мне показывает – довольствуюсь другой информацией. 

Сергей Львов,

Удалять старый сайт с вебмастера не нужно, если еще не переиндексировался весь сайт по новому домену, тогда пока ничего не делайте, пусть индексируется еще где-то месяц, после закроете. HTTP запросы не смотрите, они вам ничего не говорят, это просто статистика доступности и недоступности урл и прочее.

...