Question

Сайт индекируется в яндекс вебмастере, проиндексировано больше 100 страниц, однако в нескольких избраных страницах стоит заперт на индексацию, как снять этот запрет именно с этих страниц?

Выглядит это вот так:     Документ запрещен в файле robots.txt

ндексирование страниц запрещено в вашем файле robots.txt. Если вы намеренно запретили доступ к этим страницам, то исправлять ничего не требуется.

Если же данные страницы должны индексироваться, то вам нужно убрать запрещающие правила. Рекомендуем вам воспользоваться инструментом «Анализ robots.txt». Непосредственно в форме вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.

Как убрать запрещающие правила именно на этих страницах?

Answer 1

Наведите примеры таких страниц и что конкретно пишется в роботсе, если блокируется значит это мусор для поиска так как в стандартном роботсе ничего кроме мусора не блокируется.

Comments

пример:

сайт: http://forexxx4all.ru/

 страницы:
/index/100_ot_corsacapital/0-148
   
/index/100_ot_insta_forex/0-112
 
/index/10_ot_grandcapital/0-174
 
/index/10_samykh_strannykh_investicij/0-188
 
/index/10_sovetov_ot_bogatejshego_investora_uorrena_baffetta/0-187
 
/index/15_ot_divenfx/0-191
   
/index/15_ot_robooption/0-206
inner
 Дело в том что они когда то индексировались, а потом появился запрет, как его снять?

---

Смотрим результаты проверки:

Все примеры выше запрещены к индексации из-за того, что совпал урл с запрещенным в роботсе, то есть в роботсе запрещена техническая страница входа правилом:

Disallow: /index/1

Ваши страницы попали под запрет из-за того, что в начале урл каждой страницы идет единица.

Выход с ситуации, либо меняем урл страниц, чтобы в начале не было единиц, нолей итд, либо в Robots добавляем новую директиву:

Allow: /index/*0

Которая откроет ваши страницы к индексации.

Так же, вижу у вас старый роботс, стоило бы обновить и заменить на:

User-agent: * 
Allow: /*?page 
Allow: /*?ref= 
Allow: /index/*0
Disallow: /*? 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/3 
Disallow: /register 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /index/sub/ 
Disallow: /panel/ 
Disallow: /admin/ 
Disallow: /informer/ 
Disallow: /secure/ 
Disallow: /poll/ 
Disallow: /search/ 
Disallow: /abnl/ 
Disallow: /*_escaped_fragment_= 
Disallow: /*-*-*-*-987$ 
Disallow: /shop/checkout/ 
Disallow: /shop/user/ 
Disallow: /*0-*-0-17$ 
Disallow: /*-0-0- 

 

Sitemap: http://forexxx4all.ru/sitemap.xml
Sitemap: http://forexxx4all.ru/sitemap-forum.xml
Sitemap: http://forexxx4all.ru/sitemap-shop.xml

Более детально о роботсе можете прочесть в материале - http://forum.ucoz.ru/forum/21-13447-1

---

а скажите как поставить этого роботса, который вы мне показали на сайт? и почему он у меня старый, он сам не обновляется?

---

и как сделать это:

Выход с ситуации,в Robots добавляем новую директиву:

Allow: /index/*0
Которая откроет ваши страницы к индексации.

---

Disallow: /*-*-*-*-987$  а это что значит?

---

и как вы это проверили, я имею показали мне что страницы разрешены для индексации?

---

> то что вы дали мне нового роботс, я изменил его в корневом каталоге, просто открыл удалил что там есть и вставил то что вы дали, это правильно? сейчас начнутся индексироваться эти страницы?

>> Да, все верно. Как только робот пересканирует ваш сайт он обнаружит в роботсе доступ к этим страницам и соответственно проиндексирует их и в вебматестере изчезнет запрет.

> и как вы это проверили, я имею показали мне что страницы разрешены для индексации?

>> В яндекса имеется валидатор для проверки Robots - https://webmaster.yandex.ua/robots.xml все можно проверить и проанализировать.

> Disallow: /*-*-*-*-987$  а это что значит?

>> Это запрет дублей страниц в модуле Новости, нужная директиве.

---

Может вы еще не видели таких дублей, но поверьте, данный дубль на странице материала и комментариев имеется, а данная директива такие дубли блокирует.

Вот вам расшифрока Robots, если не понятно какая директива для чего, читаем - http://webanetlabs.net/publ/26-1-0-736

---

вообщем я так понял все будет супер после установки вашего робот! ответили все хорошо. и  как поблагодарить вас?

---

Оцените качество ответа на ваш вопрос, нажмите на иконку: