Что прописать в robots.txt

голоса: 0

Здравствуйте. Прошлое мое обращение (https://www.ucoz.ru/qa/index.php/178612/

"Здравствуйте, на сайте недавно проводили работы, по изминению главной страницы. Ранее главной страницей на сайте был модуль "Каталог сайтов", после изминений - "Редактор страниц". Получаеться что ранее существовали страницы такие как /?page1 /?page2 /?page3 /?page4 и так до /?page700+ Сейчас же по сути их нет, но не для поисковых роботов. Они далее заходят на эти страницы и вешают главной странице Дубль, так как по любой из этих ссылок им открываеться одна и та же! Помогите решить проблему! Каким образом и что куда написать, чтоб эти страницы получили статус 404 и поисковики их удаляли, ато резко теряю позиции в поисковых выдачах!"

Поисковый робот зашел на сайт и поудалял часть страниц, Но! Так же он удалил нужные страницы! Поисковый робот удалил все страницы к которым прикреплена /?page1 /?page2 /?page3 /?page4... А это ну нужно! Нужно чтобы удалял только те страницы, которые идут от главной (http://allhyips.ru/?page2, http://allhyips.ru/?page3, http://allhyips.ru/?page4 и тд.). А страницы которые идут от категорий по типу к примеру http://allhyips.ru/monitor/?page2, http://allhyips.ru/monitor/?page3, http://allhyips.ru/monitor/?page4 и тд. не нужно удалять.

 

Адрес сайта http://allhyips.ru/
| Автор: | Категория: SEO
Изменение категории | | Автор: Yuri_Geruk

Ответов: 1

Голоса: +1
 
Лучший ответ

В данном случае в роботс писать ничего не нужно, только в шаблонах нужно проделать правки. Ту диорективу верните которую ранее удалили чтобы главная индексировалась. Чтобы от главной и далее, в модуле новости и блог в странице архиве в блок хеад прописать:

<?if($PAGE_ID$='category')?>
<?ifnot($CURRENT_PAGE$=='1')?>
<link rel="canonical" href="$HOME_PAGE_LINK$" /> 
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?>  

для модулей каталогов, в категориях в блок хеад прописать:

<?if($PAGE_ID$='category'||$PAGE_ID$='section')?>
<?ifnot($CURRENT_PAGE$=='<span class="currentPage79">1</span>')?>
<link rel="canonical" href="$HOME_PAGE_LINK$" /> 
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?> 

после нужно выждать время, не неделя и не две, а больше месяца чтобы роботы успели выкинуть страницы с выдачи.

| Автор:
Выбор ответа лучшим | | Автор: Алексей Орлов
Впринципе, мне те страницы и не очень то и нужны. Сайт получает трафик с материалов, а не с промежуточных страниц. Робот же берет ссылки на новые материалы с карты сайта (файла sitemap.xml). Отсутствие промежуточных страниц не думаю что должно плохо отразиться на позициях сайта в поисковой выдаче, даже наоборот должно удалиться много мусора. А мне главное чтоб сами материалы сайта попадали в индекс роботом. А вы как считаете?
Алексей Орлов,
Я ранее также поступил с своим старым блогом, страницы переключатели запретил к индексации чтобы не было мусора в выдаче, лишь материалы. Вы все правильно думаете. Я бы на вашем месте оставил как есть, то есть как я вам советовал ранее, директиву удаленную не возвращать, с временем все стабилизируется и мусор вылетит полностью.
Yuri_Geruk,
Благодарю. Главное дубли страниц ушли, сайт практически восстановился после просадки, страницы попадают в индекс отлично! Очень помогли с решением проблемы :)
...