• Как отличить динамическую копию от статической
• Блокировка обращений с IP-адресов
• Топ IP-адресов
• Перенаправление посетителей с чужих доменов с помощью JavaScript
• Блокировка определённых стран
• Как получить и установить токен API IPInfo
• Пропускать ботов поисковых систем из заблокированных стран

Автоматическое скачивание контента, динамическое клонирование (доменное проксирование), статическое клонирование — это способы эксплуатации злоумышленниками вашего труда и несовершенства алгоритмов поисковых систем в корыстных или злонамеренных целях.

Защита сайта от клонирования в первую очередь направлена на борьбу с динамическим клонированием (проксирование доменов). Этот функционал максимально эффективен именно против работающего клона.

Как отличить динамическую копию от статической?

Динамическая копия отображает все изменения сразу по двум адресам: вашему основному сайту и адресу клона. Если вы добавили материал, комментарий или даже просто изменили символ в коде сайта — эти изменения отразятся и на копии.

Статическая копия не обновляется вместе с вашим сайтом. Если вы добавили материал на сайт, а на клоне он не появился — перед вами статическая копия.

Если вы обнаружили статическую копию своего сайта или отдельных его страниц на чужих ресурсах, первым делом сообщите об этом в поисковые системы:

1. Сообщить Google о фишинговой странице
2. Сообщить Google о спаме
3. Пожаловаться на сайт в Яндекс
4. Написать в техподдержку Яндекса и сообщить о клонировании вашего сайта
5. Связаться с регистратором домена и хостинг-провайдером сайта-нарушителя.

Блокировка обращений с IP-адресов

Как заблокировать динамическую копию сайта

1. Получите IP-адрес сайта-клона. Для этого перейдите на страницу утилиты dig от Google.
2. Введите адрес клона в поле «Имя», оставив остальные поля пустыми, и нажмите на кнопку «A». Вам нужна именно A-запись, в которой будет отображён IP-адрес сайта-клона.
3. Перейдите в панель управления: Безопасность → Защита от клонирования → Блокировка обращений с IP-адресов. Вставьте полученный IP в поле «Список IP». В поле «HTML-код возвращаемой страницы» укажите текст или картинку, которые будут отображаться вместо сайта по адресу клона, и сохраните настройки.

   

4. Перейдите на сайт-клон, обновите страницу с помощью Ctrl + F5 и убедитесь, что отображается ваша заглушка. Если результат не соответствует ожидаемому, вероятно, IP был определён неверно, либо перед вами статическая копия сайта, для которой этот метод не подходит.

Топ IP-адресов

Статическая копия или эксплуатация контента сайта. Что делать?

Защита сайта от клонирования поможет предотвратить автоматическое скачивание сайта или его контента. Для этого необходимо включить логирование IP-адресов и настроить автоматическую блокировку.

После активации опции «Активировать логирование IP-адресов» будет собираться список IP-адресов, фиксироваться количество посещений с каждого адреса:

Настройте параметры системы следующим образом:

1. Активировать логирование IP-адресов — начнётся сбор данных обо всех IP-адресах, с которых осуществляется доступ к сайту за сутки. Данные хранятся за последние 10 дней. Для удаления информации за любой день воспользуйтесь кнопкой «Очистить список IP».
2. Не логировать запросы к ПУ — по умолчанию включено. Отключать опцию не рекомендуется, если не требуется отслеживать активность в панели управления. При включённой опции отображается только количество обращений к ПУ с IP администратора без карты действий.
3. Не логировать администраторов — обязательно активируйте, чтобы при высокой активности администратора его IP-адрес не попал под автоматическую блокировку.
4. Не логировать ботов поисковых систем — ставьте галочку, если устанавливаете низкий лимит обращений с одного IP. Если лимит выше 1000–2000 обращений, можно безопасно логировать и поисковых ботов. В любом случае, регулярно проверяйте активность IP-адресов. Если в панели вебмастера появляются предупреждения о невозможности сканирования сайта, проверьте заблокированные IP за текущий и предыдущие дни. При необходимости очистите список заблокированных IP и сохраните изменения.
5. Автоматическая блокировка — включите эту опцию для предотвращения автоматического скачивания контента или сайта целиком. Для сайтов с небольшим числом страниц установите более низкий лимит обращений, для более крупных — выше 1000 хитов.
6. Токен авторизации API IPInfo — необходим для увеличения лимита просмотров информации об IP-адресах, если вы часто анализируете эти данные.

Как получить и установить токен API IPInfo

Для получения токена авторизации API IPInfo выполните следующие шаги:

1. Перейдите на сайт https://ipinfo.io/login и зарегистрируйтесь.
2. Выберите подходящий тарифный план: Free API access или любой другой по вашему усмотрению.
3. Перейдите в раздел токена: https://ipinfo.io/account/token и скопируйте свой токен.

Далее вставьте токен в настройках вашего сайта в панели администратора:

Сохраните настройки — теперь всё должно работать корректно.

Перенаправление посетителей с чужих доменов с помощью JavaScript

Эта настройка поможет защитить аккаунты пользователей, которые по ошибке пытаются авторизоваться на клонах вашего сайта, работающих на проксирующих доменах злоумышленников.

В случае возникновения такой ситуации необходимо обратиться в техническую поддержку, чтобы продлить или открепить проблемный домен.

Блокировка определённых стран

Функция блокировки работает только с двухбуквенными кодами стран! Используйте её с осторожностью — только если наблюдается массовая смена IP-адресов в пределах одной страны.

Блокировка по странам особенно эффективна против спам-ботов с прокси из различных экзотических регионов. Это особенно полезно для кино-сайтов, которым требуется ограничить доступ к контенту из определённых стран.

Для разблокировки выполните следующие действия:

• Перейдите в панель управления: Защита от клонирования → Список кодов стран.
• Удалите код своей страны из списка или очистите список полностью.
• Сохраните изменения.

То же самое необходимо сделать, если в панели вебмастера появились предупреждения о проблемах сканирования сайта.

Пропускать ботов поисковых систем из заблокированных стран

Будьте внимательны! Злоумышленники могут подделывать значение HTTP_USER_AGENT и выдавать себя за поисковых ботов.