Как определить накрутку поведенческих факторов и защититься от неё

Со времен появления поисковых систем вебмастера со всего мира мечтали взломать алгоритмы ранжирования, чтобы попасть на верхние строчки выдачи и заработать кучу денег. 10 лет назад не надо было практически ничего делать — опубликовал текст с полотном ключей и получаешь тонны целевого трафика. 

Сейчас алгоритмы ранжирования учитывают тысячи факторов и постоянно совершенствуются. Одним из основных компонентов сложной формулы ранжирования лежат поведенческие факторы, по которым алгоритмы понимают, насколько хорошо сайт удовлетворяет потребности аудитории. Если отказы слишком высокие, а возвратов на выдачу много, со временем позиции могут упасть.

В новой статье поговорим о накрутке поведенческих факторов. Разберёмся, зачем роботы притворяются людьми и дадим пошаговую инструкцию по определению накрутки ПФ. В конце вас ждут несколько полезных инструментов, которые помогут защититься от происков конкурентов. 

Что такое накрутка поведенческих факторов

Поведенческие факторы — набор сигналов, отражающих поведение людей на сайте и в выдаче. Принято считать, что ПФ касаются только внутренних факторов, но алгоритмы учитывают и внешние. Например, есть важный фактор, который называется возврат на выдачу.

Пользователь вводит запрос, переходит на сайт из результатов поиска, смотрит информацию и получает ответ на свой вопрос. Алгоритмы внимательно следят за его поведением и если он не вернётся с тем же запросом обратно в SERP, значит сайт можно считать качественным. Человек закрыл свою задачу, соответственно, контент полностью раскрывает интент.

Поведенческие факторы давно были важной частью алгоритмов ранжирования, но в последние годы их влияние значительно усилилось. Особенно в Гугле, который выкатил несколько алгоритмов, прямо или косвенно связанных с ПФ. К примеру, если на сайте установлена агрессивная реклама и это сказывается на поведении аудитории, роботы замечают проблему. 

Всё идёт к тому, что поисковые системы поставят поведенческие факторы на один уровень со ссылочной массой. Представители Яндекса и Гугла не раз говорили о том, что ПФ как и ссылками лёгко манипулировать, но алгоритмы постоянно совершенствуются, чтобы отличить искусственные сеансы от поведения реальных людей. 

Накрутка поведенческих факторов — имитация действий пользователей с чёткой целью повлиять на позиции в поисковых системах. Особенно эффективно накрутка работает в Яндексе, в Гугле алгоритмы работают иначе.

В Рунете огромное количество ботов, которые держат крупные сервисы и самостоятельные вебмастера. Они используют армию «мёртвых душ», чтобы накрутить поведенческие клиенту или утопить проект конкурента, который слишком быстро выбрался в ТОП. 

Поисковые системы отчаянно сражаются с имитацией действий реальных пользователей, но пока у них это плохо получается. Под санкции попадают белые и пушистые проекты, которые не заказывали трафик с буксов. А вебмастера, скручивающие ПФ по-чёрному, остаются в шоколаде. 

Страшный сон любого вебмастера — уведомление о накрутке поведенческих факторов в консолях Гугла и Яндекса. В Яндексе оно появляется гораздо чаще, потому что ПФ уделяется много внимания. Те, кто получает такую метку, автоматически ставят крест на проекте.

Опытные вебмастера знают, что доказать отсутствие накрутки поддержке Яндекса сложно. Если их алгоритмы обнаруживают подозрительную активность, то дают фильтр и следят за активностью дальше. Обычно санкции выдаются на срок от 6 до 12 месяцев.

Это уже не метка «Небезопасный сайт», которую можно снять за несколько дней или неделю. Сайт на протяжение полугода попадает в «песочницу», позиции падают, а вместе с ними и трафик. Вебмастер не может ничего сделать. Максимум — бомбить поддержку слёзными письмами.

Тема накрутки ПФ в Рунете обросла пластом мифов. Новички думают, что это ключ к взлому алгоритмов. Заказал несколько десятков тысяч переходов по нужным запросам и через несколько дней проект попал в ТОП. Это не всегда работает именно так. В большинстве случаев после краткосрочной победой наступает полный разгром.

Логика работы поведенческих факторов только кажется максимально простой. На практике, разница между поведением реального человека и робота, который повторяет его действия, просто колоссальная. Если заказываете услуги в каком-нибудь стандартном сервисе накрутки ПФ, сильно рискуете «здоровьем» своего проекта. 

Только представьте, какие ресурсы у Яндекса и Гугла. Огромные сетки серверов и алгоритмы с машинным обучением. Бороться с ними всё равно, что на Запорожце пытаться обогнать Ferrari или Tesla. Хотя надо отдать должное накрутчикам — некоторые остаются на коне. 

Главная проблема накрутки ПФ заключается в том, что поисковики не могут установить личность накрутчика. В большинстве случаев под раздачу попадает владелец сайта, потому что подозрения падают на него. А он может вообще не использовать такие методы продвижения. 

Если оптимизируете проект под Google и заметили скрутку поведенческих факторов, можете сильно не париться. Шансы получить санкции минимальные, потому что у Гугла фильтр гораздо лучше, чем у Яндекса. На форумах крайне мало жалоб на то, что Google забанил сайт из-за ПФ, а вот в адрес Яндекса постоянно сыплются проклятия. 

Сразу хотим ответить на главный вопрос, который волнует многих вебмастеров. Они не понимают, откуда алгоритмы поисковых систем получают данные о качестве поведенческих факторов без установленных счётчиков посещаемости на сайтах. 

Кроме систем аналитики у поисковиков есть другие источники. Это данные об активности в SERP, браузерные плагины и другие каналы. Не секрет, что браузер Chrome принадлежит Google и у него самая большая доля на рынке. Достоверно неизвестно, какие именно данные считывает браузер и что передаёт на сервера. 

Последствия от накрутки ПФ

Предположим, что вашему проекту начали крутить поведенческие факторы и вы хотите узнать, чем это грозит в будущем. Если давно наблюдаете подозрительную активность, будьте готовы в любой момент получить «письмо счастья» о персональных санкциях. 

Активность ботов может перечеркнуть все предыдущие результаты и доказать свою невиновность службе поддержки Яндекса будет практически невозможно. Большинство вебмастеров получают шаблонные ответы, в которых пишут, что решение принимают алгоритмы, а не люди.

Иногда складывается впечатление, что в отделе по работе с алгоритмами поискового ранжирования людей вообще нет. Программисты обучили нейросети и ушли в вечный отпуск. Решения принимают ИИ и они часто ошибаются. Особенно, когда дело касается накрутки ПФ.

Скрутка поведенческих приносит следующие проблемы:

1. Размытие данных. Искусственные визиты смешиваются с реальными и выделить их бывает сложно. 
2. Ухудшение поведенческих метрик. Время визита и глубина просмотра падают, а отказы увеличиваются с огромной скоростью.
3. Падение позиций и видимости. Если на сайт наложат санкции, он неминуемо потеряет высокие позиции. 
4. Блокировки в системах монетизации. Алгоритмам контекстных сетей и системам антифрода в партнёрках не сильно нравится ботовый трафик. Они безжалостно блокируют сайты с некачественным трафом. 
5. Снижение дохода. Если проект монетизируется только контекстом или партнёрками, он может стать убыточным из-за ограничений на показ рекламы.
6. Повышение нагрузки на сервер. Иногда даже слабенькая DDoS-атака провоцирует скачки расхода памяти и дискового пространства. Сайт медленно грузится или вообще уходит в оффлайн.
7. Левые заказы. Боты могут не только ходить по страницам и скликивать объявления, но и оформлять заказы в интернет-магазинах. 
8. Воровство контента. Иногда атаки на сайт осуществляются в целях растаскивания уникального контента. Моргнуть не успеете, как ваши тексты окажутся на сотнях дорвеев. 
9. Обнаружение уязвимостей. Ещё ботов запускают, чтобы просканировать сайт на наличие дыр. Если их найдут, то кроме накрутки ПФ, на сайте могут появиться тысячи страниц на китайском языке или файлы с вирусами. 

Накрутка ПФ может принести много бед и в большинстве случаев от них пострадает вебмастер и его проект. Накрутчики останутся анонимными и смогут достичь поставленных целей. А вебу надо будет как-то выкручиваться, тратить время и деньги, чтобы восстановить репутацию доходного проекта.

Одна из особенностей накрутки ПФ заключается в том, что нет чётких сроков выдачи фильтров. От момента скрутки до выдачи ограничений может пройти неделя или полгода. Если у алгоритмов накопилось достаточно данных для наложения санкций, это может произойти и через несколько месяцев после остановки накрутки.

Как определить накрутку ПФ

В конце прошлого года вебмастера начали массово жаловаться на ботовый трафик, который зацепил многие сайты Рунета. На Searchengines и других форумах постоянно появлялись новые подтверждения массовой атаки на сайты. Чёткого механизма накрутки не было — под раздачу попадали даже свежереги.

Складывается впечатление, что кто-то очень влиятельный выпустил на волю огромную сетку ботов, которые ходят по сайтам и скручивают ПФ. Возможно, крупный игрок на рынке захотел отжать весь поисковый траф себе. Возможно, он даже хочет обойти крупные сервисы по брендовым запросам за счёт скрутки поведенческих. 

Хотя популярные проекты вроде Вконтакте и Одноклассников могут расслабиться. Во-первых, у них есть собственные алгоритмы, которые закрывают доступ ботам. Во-вторых, каждый день на такие сайты заходят миллионы пользователей и доля «мёртвых душ» явно не будет выше, чем количество живых юзеров. 

Судя по активности вебмастеров на тематических ресурсах, накрутка продолжается по сей день. Иногда возникает мысль, что её запустил сам Яндекс, потому что часть посетителей попадают не в прямые заходы, а связываются с конкретными поисковыми фразами. 

В последние полгода в Рунете сильно вырос спрос на системы фильтрации трафика. Вебмастера с крупными сетками сайтов обеспокоены тем, что их доходы могут упасть, поэтому они ищут надёжный способ защититься от нападок ботов. В конце статье мы кратко расскажем о нескольких инструментах, которые помогут решить проблему. 

Алгоритм определения накрутки ПФ у каждого вебмастера свой, но самый простой способ связан с просмотром данных в системах аналитики. Если будете ориентироваться на Google Analytics, не забудьте модифицировать механизм подсчёта отказов, потому что стандартный алгоритм сильно отличается от аналога в «Метрике». 

Шутки про бесконечное обновление статки актуально не только для арбитражников. Вебмастера тоже страдают этим — чекают цифры в Яндекс.Метрике, Google Adsense и партнёрках. Несмотря на то, что данные  в системах аналитики обновляются с задержкой. 

Так вот, если любите тупить в стату, то наверняка сможете обнаружить подозрительную активность. Откройте отчёт по источникам трафика и картина будет как на ладони. В большинстве случаев боты прилетают на сайт из поисковиков или попадают в графу «Прямые заходы».

Краткий алгоритм определения накрутки ПФ:

1. Проверьте данные в системе аналитики. Если видите аномальную активность, просмотрите несколько отчётов, чтобы найти закономерность.
2. Сравните цифры с предыдущим периодом. Обычно вырастает количество переходов из одного источника. 
3. Посмотрите 10-20 записей визитов. Если включали Вебвизор в Яндекс.Метрике, сохранённые видео помогут обнаружить искусственную активность.
4. Проверьте время визитов. На развлекательных сайтах пик нагрузки наблюдается в вечернее время. Если видите резкие скачки днём в будние, включайте режим подозрительности.
5. Уделите внимание прямым заходам. Обычно накрутчики не парятся и нагоняют ботов без реферера. 
6. Попробуйте найти закономерность. Боты могут заходить из одной страны или социальной сети.  
7. Проанализируйте поведенческие метрики. Если отказы резко выросли хотя бы на 30%, надо срочно принимать контрмеры. 
8. Внимательно следите за позициями. Обычно через некоторое время после массовых наплывов начинаются проблемы с ранжированием. 
9. Проверьте отчёт «Роботы» в Яндекс.Метрике. Система аналитики неплохо распознает роботов.

Даже если боты проявляют минимальную активность и их количество едва достигает 5-10% от общего количества посетителей, напрягаться всё равно стоит. Они могут вести себя непредсказуемо и заранее предугадать последствия невозможно. К примеру, позиции останутся на прежнем уровне, а из-за склика прилетит бан в Google Adsense или РСЯ. 

Достаточно посмотреть несколько записей визитов в Яндекс.Метрике, чтобы сформировать шаблон поведения ботов. Обычно они не отличаются особой профессиональностью — выполняют хаотичные движения, совершают глупые действия и скроллят страницу слишком плавно. 

Проблему с накруткой поведенческих в Рунете пока нельзя назвать катастрофической, но если так и дальше будет продолжаться, могут пострадать многие проекты. Яндекс никогда не отличался особой разборчивостью в вопросах накрутки ПФ. Проще забанить без разбирательств, чем тратить время на переобучение алгоритмов. 

Как защититься от накрутки ПФ

Мы разобрались, что скрутка поведенческих может зацепить любые сайты и с ней надо бороться, пока процент ботового трафика в системе аналитики не упадёт до минимального уровня. До тех пор нельзя расслабляться и не замечать проблему. 

Мы подготовили несколько способов защиты. Рекомендуем использовать лайтовые и хардкорные инструменты одновременно, чтобы добиться максимальной эффективности. Потестите несколько систем фильтрации трафика и выберите вариант, который идеально устраивает по соотношению цена/качество.

• Заблокируйте переходы из социальных сетей. Используйте этот метод с осторожностью и только на проектах, где социальный траф вообще не нужен. Например, если пускаете на ленд рекламу только из контекста.

<IfModule mod_rewrite.c> RewriteEngine on ## SITE REFERRER BANNING RewriteCond %{HTTP_REFERER} ok.ru [NC,OR] RewriteCond %{HTTP_REFERER} t.co [NC,OR] RewriteCond %{HTTP_REFERER} vk.com [NC,OR] RewriteCond %{HTTP_REFERER} youtube.com [NC,OR] RewriteCond %{HTTP_REFERER} l.instagram.com [NC,OR] RewriteCond %{HTTP_REFERER} facebook.com [NC,OR] RewriteCond %{HTTP_REFERER} zen.yandex.ru [NC,OR] RewriteCond %{HTTP_REFERER} click.my.mail.ru [NC,OR] RewriteCond %{HTTP_REFERER} porndl.org [NC] RewriteRule .* — [F] # Options +FollowSymlinks RewriteCond %{HTTP_REFERER} ok\.ru [NC] RewriteCond %{HTTP_REFERER} vk\.com [NC] RewriteCond %{HTTP_REFERER} youtube\.com [NC] RewriteCond %{HTTP_REFERER} facebook\.com [NC] RewriteCond %{HTTP_REFERER} zen.yandex\.ru [NC] RewriteCond %{HTTP_REFERER} click.my.mail\.ru [NC] RewriteCond %{HTTP_REFERER} l.instagram\.com [NC] RewriteRule .* — [F] </ifModule>

• Ограничьте доступ к сайту по странам. Если льёте с таргета исключительно на Россию, Украину или другие страны СНГ, будет полезно отсечь нерелевантный трафик. Проще всего сделать это через Cloudflare. Повесьте сайт на NS-сервера сервиса, в настройках Firewall добавьте правила по странам и не забудьте пропускать поисковых ботов, если надо. 

• Спрячьте счётчики аналитики. Иногда боты проверяют есть ли в исходном коде сниппеты Яндекс.Метрики и Google Analytics. Можно подключить скрипты систем аналитики через Google Tag Manager и усложнить жизнь сеткам «мёртвых душ». Или модифицировать код подключения счётчиков. 

<script> (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, «script», «https://cdn.jsdelivr.net/npm/yandex-metrica-watch/tag.js», «ym»); ym(12345678, «init», { clickmap:true, trackLinks:true, accurateTrackBounce:true, webvisor:true });</script>

• Настройте запуск Яндекс.Метрики после загрузки контента. Боты начинают активность сразу после отправки запроса на сервер, где располагается сайт. А пользователи ждут загрузки и только потом начинают скроллить. Можно модифицировать код и запускать скрипт «Метрики» через секунду после скролла. 

var mscroll = false; window.addEventListener(‘scroll’, () => { if (mscroll === false) { mscroll = true; setTimeout(() => { (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)}; m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)}) (window, document, «script», «https://cdn.jsdelivr.net/npm/yandex-metrica-watch/tag.js», «ym»); ym(12345678, «init», { clickmap:true, trackLinks:true, accurateTrackBounce:true, webvisor:true }); }, 1000)}});

Не забудьте проверить, чтобы после модификации кода счётчика визиты из поисковых систем и других источников корректно распознавались. Если возникают проблемы, установите стандартный код и отключите кеширование скрипта. Задать вопросы по работе сниппетов кода можно в блоге автора, который поделился ими. 

Теперь рассмотрим несколько систем фильтрации трафика. Тот самый хардкорный вариант, который можно использовать в связке с лайтовыми инструментами или если они не помогли. Сервисы работают примерно одинаково, но отличаются доступными возможностями и стоимостью.

Cloudflare

Самая популярная система защиты от DDoS-атак и нашествия ботов. Сразу отметим, что Cloudflare не борется конкретно с накруткой поведенческих, а просто показывает капчу всем сомнительным пользователям. Сервис не всегда эффективно справляется с этой задачей, поэтому 100% эффективность не гарантируется. 

Главное преимущество Cloudflare в том, что для базовых задач хватит бесплатного тарифа. Во вкладке Bots пункта Firewall активируйте Bot Fight Mode, чтобы заблокировать известным ботам доступ к проекту. Во вкладке Firewall Rules можно ограничить доступ к сайту по cookies, рефереру, юзерагенту и другим параметрам.

Обратите внимание, что защита от ботов в большинстве случаев означает показ им капчи. Дальнейшее развитие событий зависит от того, насколько они умные. Если ИИ не готов к разгадыванию капчи, то он уйдёт ни с чем. Но нет гарантий, что накрутчик не улучшит алгоритмы и тогда защита станет неэффективной. 

На платном тарифе доступна автоматическая блокировка ботов, защита от парсинга контента и просмотр отчётов по соотношению реальных пользователей к ботам в режиме реального времени. Стоимость самого дешёвого тарифа стартует от $20.

Установить Cloudflare →

Finteza

Finteza — система аналитики качества трафика, которая повышает эффективность монетизации. В отличие от базовых сервисов аналитики, Finteza предлагает многоуровневый алгоритм оценки качества аудитории. Распознает ботнет-сети и реагирует на 12 видов некачественного трафика. 

Данные обновляются в режиме реального времени, а не с задержкой как в «Метрике» и Google Analytics. Если кто-то начнёт скликивать рекламу, вебмастер быстро об этом узнает и сможет принять меры для защиты проекта. 

Кроме ботов система распознаёт скамеров, спамеров и хакеров. Скорее всего, для их определения используется анализ шаблонных действий. Например, спамеры бездумно размещают комментарии, а хакеры сканируют сайт на наличие уязвимостей и выдают себя. 

Finteza не умеет блокировать ботов, но идеально подходит для арбитражников, которые тестят разные рекламные площадки. Слейте пару тысяч трафа и посмотрите, насколько качественный трафик у рекламной сети. Если большинство посетителей попадают в зелёную зону, значит всё отлично.

Скрипт аналитики стоит $25 в месяц за 100 000 посетителей. Первые 30 дней можно пользоваться бесплатно без привязки кредитной карты и заполнения огромных анкет. Зарегались, подключили проект и юзаете. 

Установить Finteza →

AntiBot 

Один из самых популярных сервисов фильтрации трафика, который установлен на многих топовых сайтах Рунета. AntiBot справляется с разными видами ботов, но не защищает от DDoS-атак. Поэтому, его лучше использовать в связке с Cloudflare, чтобы по максимуму защититься от происков конкурентов. 

По заверениям разработчика, скрипт защищает сайты на PHP от ботов, накрутки поведенческих факторов, взлома и поиска уязвимостей, воровства контента и снижает нагрузку на сервер. Устанавливается в виде скрипта на сервер. Есть простенький личный кабинет для привязки доменов и редактирования конфига. 

По наблюдениям вебмастеров, AntiBot идеально справляется с ботами, которые маскируются под реальных пользователей. Но скрипт не подходит для сайтов, которые рекламируются в Google Ads, потому что страница не пройдет модерацию. 

Если монетизируете сайт контекстными сетями и продвигаетесь в поиске, откройте доступ роботам поисковых систем, чтобы у них не было проблем с обходом страниц и анализом контента. В противном случае могут последовать санкции вплоть до выбрасывания страниц из индекса. 

Стоимость подписки привязана к количеству подключённых доменов. Лицензия для одного сайта обходится в $25 при первой установке и $13 за каждый следующий год продления. Можно купить за $99 лицензию на неограниченное количество сайтов и платить по $49 за продление. 

Установить AntiBot →

Если проблема с накруткой поведенческих факторов и нашествием ботов для вас актуальна, воспользуйтесь лайтовыми способами защиты и установите одну из систем фильтрации трафика. А ещё лучше поставить Cloudflare в связке с Antibot для максимальной эффективности. 

Пишите в комментариях: сталкивались с накруткой поведенческих или перешли на тёмную сторону SEO сами?