Создать сайт бесплатно!
Главная
SEO-модуль
Как избавиться от дублей в поиске Яндекс и Google ?
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!

Как избавиться от дублей в поиске Яндекс и Google ?

Как избавиться от дублей в поиске Яндекс и Google ?
Материал добавлен: 23 Июня 2021
Материал обновлен: 02 Сентября 2021

В данном материале мы рассмотрим все доступные методы борьбы с дублями для сайтов которые созданы в uCoz и uWeb. Будем избавляться от дублей страниц системного календаря, дублей переключателей страниц в модулях каталогах и других страниц которые портят вид сайта в лице поисковых систем.

Как избавиться от дублей на сайтах uCoz и uWeb ?

Избавляемся от дублей виджета календарь $CALENDAR$

На сайт где используются модули Блог и Новости и используется блок с календарем, в поиске могут возникнуть дубли с урл адресами подобно:

  1. http://ваш-сайт/news/2020-10-22
  2. http://ваш-сайт/news/2020-10-14
  3. http://ваш-сайт/blog/2020-10-22
  4. http://ваш-сайт/blog/2020-10-14

если материалов в модуле много, соответственно за каждую дату в календаре будут отметки и будет много урл дублей. 

То есть, у вас может быть 1 - 2 тысячи новостей в модуле новости, новости добавлялись в разные дни, в итоге ожидайте 2 тыс урл адресов дублей, подобно примерам выше. Такие дубли не приносят никакой пользы, ниже будет описано решение как с ними бороться, чтобы такие дубли не индексировались, а если уже проиндексировались, чтобы удалились с поиска. 

Для борьбы с такими дублями перейдите в модулях блог и новости в шаблон - Страница архива материалов, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$=='day'||$PAGE_ID$=='month'||$PAGE_ID$=='year')?> 
<meta name="robots" content="noindex, nofollow"/>
<?endif?>

сохраните изменения, далее ждите переиндексации в поисковиках и эти дубли начнут исчезать с поиска.

Избавляемся от дублей страниц пагинации в модулях Блог и Новости

Имея в модулях блог и новости много материалов, которые распределены по своих категориях или добавлены вне категорий, в модуле материалы разделяются на страницы, в результате всего этого если заранее не настроить борьбу с дублями переключателей страниц, в поиске будет много урл адресов подобно:

  1. http://ваш-сайт/?page2
  2. http://ваш-сайт/?page3
  3. http://ваш-сайт/?page4
  4. http://ваш-сайт/?page5

такие страницы никакой пользы в поиске не приносят.

Чтобы избавиться от таких страниц в поиске, нужно отредактировать ваш файл Robots.txt и удалить с него директиву:

Allow: /*?page

далее системно в роботсе останется директива:

Disallow: /*?

она должна быть, если у вас нет, нужно добавить. Далее при переиндексации такие страницы дубли как описаны в примере выше вылетят с поиска.

Запрещаем индексацию дублей страниц в категориях блога и новостей

Дополнительный метод борьбы с таким страницами в модулях блог и новости для категорий, в шаблоне Страница архива материалов, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$='category')?>
<?ifnot($CURRENT_PAGE$=='1')?>
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?> 

так мы запретим индексацию страниц пагинации ( переключателей страниц ) в категориях кроме первой страницы.

То есть, мы сообщаем роботу поисковика, что в каждой из категорий модуля мы ему говорим, что нужно индексировать первую страницу категории.

Если в категории будет 5-10 и более страниц с материалами, данное условие позволит запретить их индексацию и в итоге поисковики не будут сообщать, что такие страницы являются не каноническими.

По сути поисковики на такие страницы ругаются, так как у них титл повторяется (дублируется).

Прописав это условие мы не навредим индексации материалов модуля и категорий, все будет индексироваться, мы лишь избавимся от страниц дублей (переключателей страниц).  

Как избавиться от дублей переключателей страниц в Каталогах ?

В модулях Блог и Новости метод борьбы с дублями переключателей страниц один, в каталогах (файлов, статей, сайтов, объявлений и игр), метод немного отличается. 

Перейти в шаблон Страница со списком материалов категории / раздела, далее в блоке хеад ( между тегов <head>сюда</head>) прописать следующее условие:

<?if($PAGE_ID$='category'||$PAGE_ID$='section')?>
<?ifnot($CURRENT_PAGE$=='<span class="currentPage79">1</span>')?> 
<meta name="robots" content="noindex, nofollow"/> 
<?endif?><?endif?> 

этот способ решит проблему с дублями подобно как и в модулях блог и новости.

Условие выше запретит индексацию всех переключателей страниц в категориях и разделах каталогов кроме первой страницы. 

Как избавиться от дублей подстраниц в Интернет-магазине ?

В модуле Интернет-магазин имеются свои подстраницы:

  • Описание
  • Спецификация
  • Изображения
  • Отзывы

По сути в поиске нужно оставить лишь первую вкладку "Описание", которая отображает описание товара, другие вкладки нужны для отображения изображений товара и чтобы клиент имел возможность оставить отзывы.

Имея например на сайте 2 - 5 - 10 тыс товаров, на каждый товар прибавьте 3 страницы дубля, это тысячи страниц мусора, чтобы от него избавиться в роботс нужно прописать такие директивы:

Disallow: /shop/*comm
Disallow: /shop/*spec
Disallow: /shop/*imgs

вот так мы избавимся от возможных тысяч дублей в модуле Магазин.

Запрет индексации переключателей страниц модуля Магазин

В модуле магазин переключатели страниц работают по  таким урл:

  1. /shop/all/1
  2. /shop/all/2
  3. /shop/all/3
  4. /shop/all/4
  5. /shop/all/5

Представьте ситуацию, когда в модуле 5-10 тыс товаров или больше, сколько у вас дублей переключателей страниц будет в поиске (такие дубли пользы не несут так как все они не уникальны и положительного влияния на покупки в магазине они не дают). Чтобы решить эту проблему, в файл robots.txt пропишите директиву:

Disallow: /shop/all/

эта директива решит проблему с переключателями страниц.

Избавляемся от дублей переключателей страниц в категориях Магазина

В категориях модуля магазин вы можете столкнуться с дублями подобно:

  1. http://site.net/shop/laminat;2
  2. http://site.net/shop/laminat;3
  3. http://site.net/shop/laminat;4
  4. http://site.net/shop/laminat;5

Для решения данной проблемы, в файл robots.txt нужно прописать директиву:

Disallow: /shop/*;

она решит проблему с такими дублями и не будет мешать индексации товаров.

Дополнительное средство защиты против дублей Canonical

Важно в каждом из модулей настроить для категорий, разделов и материалов Canonical, чтобы поисковики понимали какой урл является основным для индексации и не индексировали дубли.

Если у вас на сайте оплачивается платный тариф от Оптимального и выше на выбор, можно перейти в "Премиум настройки" Seo-модуля, далее отметить пункт - "Использовать атрибут rel="canonical" для материалов". После этих настроек достаточно пройтись по всем страницам шаблонам основных модулей и в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?$SEO_CANONICAL$?>

этого будет достаточно, чтобы поисковики понимали какая страница является канонической и не плодили дубли.

Как настроить Canonical если у вас на сайте нет оплаченного тарифа ?

В данной ситуации будет использовать каноникал с помощью внутренних операторов которые существуют в uCoz и uWeb.

Canonical для страницы материала и комментариев

Для шаблона Страница материала и комментариев / Страница с полной фотографией и комментариями основных модулей (блог, новости, все каталоги файлов, статей, сайтов, объявлений, игр, видео и фотоальбомы), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($ENTRY_URL$,1)?>"/>

Canonical для страницы товара в Интернет-магазине

Для шаблона Страница товара в модуле Интернет-магазин, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($DESC_LINK$,1)?>" />

это решит вопрос с каноникалом для товаров.

Canonical для страниц категории 

Для шаблона Страница архива материала модулей (блог и новости), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($PAGE_ID$='category')?>
<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />
<?endif?>

Для шаблона Страница со списком материалов категории / Страница со списком фотографий альбома / Каталог товаров (каталогов файлов, статей, сайтов, объявлений, игр, видео, фотоальбома и магазина), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($CAT_URL$)?><link rel="canonical" href="$HOME_PAGE_LINK$<?substr($CAT_URL$,1)?>" /><?endif?>

Canonical для страниц раздела

Для шаблона Страница со списком материалов раздела / Страница со списком фотографий раздела (каталогов файлов, статей, сайтов, объявлений, игр и фотоальбома), в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<?if($SECTION_URL$)?><link rel="canonical" href="$HOME_PAGE_LINK$<?substr($SECTION_URL$,1)?>" /><?endif?>

Canonical для модуля Гостевая книга

Если у вас модуль гостевая используется, оставляются отзывы, тогда в данном модуле можно использовать в шаблоне Страница с сообщениями свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="<?if($REQUEST_URI$="/gb/" or $REQUEST_URI$="/gb" or $REQUEST_URI$="/gb/1")?>https://ваш-сайт/gb<?else?>https://ваш-сайт/gb/<?substr($REQUEST_URI$,4)?><?endif?>" />

Canonical для модуля Форум

Если у вас модуль Форум используется, тогда в данном модуле можно использовать в шаблоне Общий вид страниц свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="<?if($PAGE_ID$='main')?>$HOME_PAGE_LINK$forum<?endif?><?if($PAGE_ID$='category')?>$HOME_PAGE_LINK$<?substr($CUR_SECTION_URL$,1)?><?endif?><?if($PAGE_ID$='forum')?>$HOME_PAGE_LINK$<?substr($CUR_FORUM_URL$,1)?><?endif?><?if($PAGE_ID$='threadpage')?>$HOME_PAGE_LINK$<?substr($CUR_THREAD_URL$,1)?><?endif?>"/>

Примечание! Для подфорумов в модуле форум разграничить каноникал отдельный для форума и подфорума на уровне операторов слишком сложно, в связи с этим, для подфорумов используется урл корневого форума в который подформ добавлен. 

Canonical для модуля Страницы / Редактор страниц

В данном модуле можно использовать в шаблоне Страницы сайта свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />

этого будет достаточно для данного модуля.

Canonical для модуля FAQ

В данном модуле можно использовать в шаблоне Общий вид страниц FAQ'a свой каноникал, в блоке хеад ( между тегов <head>сюда</head>) прописать следующий код:

<link rel="canonical" href="$HOME_PAGE_LINK$<?substr($REQUEST_URI$,1)?>" />

При необходимости, данный материал будет дополняться новыми решениями для борьбы с дополнительными дублями.

Избавляемся от дублей в модуле Фотоальбомы

Яндекс может ругаться на страницы фото с урл подобно:

  • /photo/pozdravlenie_s_imeninami/1-0-66-3
  • /photo/3-0-172-3

от таких страниц можно избавиться прописав роботс директиву:

Disallow: /photo/*-0-***-3
Как избавиться от дублей в поиске Яндекс и Google ?