Как отличить целевой трафик от ботов и накрутки в Метрике

Роботами в справке Метрики называются программы, которые обходят сайт с какой-то целью: индексирующий робот поиска, сервис проверки доступности, парсер цен конкурента, скрипт накрутки. Одни представляются честно — в User-Agent написано, кто это. Другие маскируются под браузер обычного человека. Метрика обрабатывает их по-разному, и это первое, что стоит понять, прежде чем считать «долю ботов».

Представившихся роботов Метрика исключает из статистики сразу — они не попадают в визиты, которые вы видите на графике, а лежат отдельно в отчёте «Роботы». Роботов, вычисленных по поведению и техническим сигналам, Метрика тоже умеет находить, но по умолчанию показывает статистику вместе с ними: в интерфейсе есть переключатель «Данные: с роботами / без роботов». Именно поэтому график может расти за счёт визитов, которые сама Метрика уже пометила как роботные — просто вы смотрите режим «с роботами».

Есть и третья история — не роботы в смысле Метрики, а фрод в рекламе: клики по объявлениям в РСЯ с площадок, где никто ничего не читает. Здесь работает уже антифрод Директа, и это другая система: в справке отдельно оговорено, что у Метрики и Директа разные механизмы определения роботов. Отсюда практическое следствие: визит может быть учтён Метрикой как «человек», а в Директе тот же клик уже признан недействительным и не оплачен — или наоборот.

Отчёт лежит в разделе Отчёты → Мониторинг → Роботы. В нём — количество отправок данных счётчиком о действиях роботов с разбивкой по правилам фильтрации: поисковые роботы с именами, строка «поведенческие правила» без детализации и строка «Отфильтрованы по отсутствию JS и Referer» — это посетители, у которых не выполнился JavaScript, а картинка из noscript загрузилась без заголовка Referer; такие просмотры Метрика тоже относит к роботам. Если в дни всплеска этот отчёт тоже показывает пик — значит, часть волны уже отфильтрована и до ваших графиков не дошла.

Вторая цифра — доля роботности внутри той статистики, которую вы видите. В любом отчёте по источникам или страницам переключите режим «Данные: без роботов» и выберите «Сравнить с данными с роботами». Метрика покажет две линии рядом. Дополнительно в списке метрик есть «Визитов роботов» и «Роботность» — доля визитов, определённых как роботные по поведению; их можно вывести в таблицу по каждому источнику и каждой странице входа.

Что мы считаем нормой на аудите: небольшая роботность есть у любого сайта, тревожит не сама цифра, а её резкий рост, привязанный к одному источнику, одному региону или одной странице. Если у поисковых визитов роботность около нуля, а у прямых заходов она вдруг выросла в разы — это уже ответ на вопрос, откуда всплеск.

Дальше нужен сегмент, с которым можно работать постоянно. В любом отчёте добавьте условие «Роботность: нет» (в интерфейсе — характеристика визита «Роботность» со значениями да/нет) и сохраните сегмент — он пригодится и для дашборда, и для отчёта по целям. Теперь сравните два среза за один период: все визиты и визиты без роботов. Смотрим отказы, время на сайте, глубину и достижения целей.

Логика простая. У живых людей после исключения роботов отказы обычно снижаются, время растёт, а число достигнутых целей почти не меняется — потому что боты целей не достигают. Если после включения сегмента у вас пропала половина визитов, а заявок в отчёте по целям осталось столько же — вы только что увидели истинный размер аудитории. Если же после исключения роботов картина не изменилась, а отказы всё равно высокие — проблема не в ботах, а в странице или в рекламе, и разбирать её нужно другими инструментами.

Дальше — источники. Откройте «Источники, сводка» с включённым сегментом без роботов и сравните с общей картиной. Классический почерк накрутки и мусорного трафика: рост прямых заходов (у визита нет реферера) и переходов с сайтов, о которых вы никогда не слышали. Справка Метрики прямо называет роботов первой возможной причиной большого числа прямых заходов; вторая честная причина — переходы с HTTPS-сайтов на сайт по HTTP, при которых реферер не передаётся. Если ваш сайт давно на HTTPS, эта причина отпадает.

Отчёт по географии с сегментом «все визиты» против «без роботов» показывает разницу наглядно. Компания делает ремонт квартир в Москве и области, а на графике появляются сотни визитов из городов за тысячи километров, с прямых заходов, с отказами около 100% и без единой цели — это не клиенты и не «интерес из регионов». Та же проверка по устройствам и браузерам: всплеск с одной версии браузера или одного разрешения экрана, которого у обычной аудитории почти нет, — маркер автоматизированного трафика.

Вебвизор — инструмент для подтверждения, а не для поиска. В справке отдельно указано: Вебвизор может записывать визиты, которые Метрика или Директ определяют как роботные. Поэтому сам факт «в Вебвизоре много коротких визитов» ничего не доказывает — они там будут всегда, включая уже отфильтрованные и неоплаченные клики. Смотреть нужно на паттерн: десятки визитов по 5–10 секунд с одной страницы входа, одинаковый скролл на одну и ту же глубину, ни одного движения к кнопкам и форме, одинаковое время между действиями. Живые люди так не ходят даже когда уходят быстро.

Ещё один срез — время суток. Постройте отчёт по посещаемости с группировкой по часам за неделю всплеска и за спокойную неделю до него. Аудитория услуг для людей живёт в рабочем ритме: подъём утром, пик днём, спад ночью. Ровная полка визитов с трёх до шести утра или одинаковые порции визитов каждый час — расписание скрипта, а не спроса. Сравнение с сегментом без роботов покажет, ушла ли ночная полка после фильтра.

Отдельный сценарий: всплеск идёт из поисковых переходов Яндекса по коммерческим запросам, визиты короткие и однотипные, региональный профиль странный, а вы ничего не заказывали. Так выглядит чужая накрутка поведенческих факторов — сервисы имитируют переходы из выдачи на сайт: иногда по заказу конкурента, иногда ваш сайт просто попадает в «массовку», потому что стоит рядом в выдаче.

Что делать: не паниковать и не покупать «защиту». Зафиксировать факты — период, запросы, регионы, долю роботности по этому источнику, ссылки на отчёты Метрики — и написать в поддержку Яндекса через форму обратной связи в Вебмастере с этими данными. Обращение с конкретными отчётами обрабатывается предметнее, чем письмо «нас накручивают». Параллельно ничего не менять на сайте под влиянием этого трафика: не убирать блоки, не переписывать страницы, не отключать регионы. Ваша задача — чтобы поведение живых людей на страницах оставалось нормальным, а его вы контролируете сегментом без роботов.

Чего не делать: заказывать «ответную накрутку», чтобы «выправить показатели», — это уже нарушение с вашей стороны, и оно фиксируется как ваше. Не ставить капчу на всех посетителей из-за пары дней странного трафика: капча остановит часть людей и не остановит сервисы накрутки, для которых её прохождение — штатная функция.

Если всплеск нецелевых визитов приходит с рекламы, разбор переезжает из Метрики в Директ. Первый шаг — убедиться, что это действительно Директ: в Метрике смотрим отчёты группы «Директ» (сводка, площадки, расходы), которые строятся только на учтённых кликах, прошедших антифрод. Если подозрительные визиты есть в Вебвизоре и в общей статистике, но их нет в отчётах «Директ» — деньги за них уже не списаны, и предмет для тревоги исчезает. Отфильтрованное видно в отчёте «Недействительный трафик» в Библиотеке отчётов Директа; расходы за такие клики возвращаются на общий счёт, а сами клики и конверсии исчезают из отчётов задним числом.

Второй шаг — Мастер отчётов с группировкой по площадкам: CTR, отказы по данным Метрики и достижения целей по каждому домену и приложению в РСЯ. Площадки с мгновенными отказами и без единой цели при заметном расходе добавляем в запрещённые — исключить можно до 1000 доменов и идентификаторов приложений. Только по своим цифрам, а не по «спискам мусорных площадок» из интернета: площадка, бесполезная для одного оффера, для другого нормальна, и справка Директа прямо предупреждает, что исключение площадок может привести к потере аудитории.

Честная граница: антифрод защищает счёт, а не сайт. Отфильтрованные клики вы не оплачиваете, но боты всё равно доходят до страницы, попадают в Метрику и иногда в CRM — «нулевого мусора в аналитике» настройки Директа не дадут, их задача в том, чтобы за него не платить. Если после чистки площадок и минус-слов подозрительный расход продолжается, обращение в поддержку Директа собирают так же, как по накрутке: номера объявлений, период, номер счётчика, ссылки на отчёты.

Итоговый принцип, к которому мы приводим отчётность на сквозной аналитике: визиты — не показатель. Показатель — цели и обращения. Базой для всех KPI становится сегмент без роботов, а в самих отчётах место «визитов» занимают «достижения целей»: отправка формы, клик по телефону, разговор дольше порога по коллтрекингу, заявка в CRM с источником. Бот может накрутить визиты и даже дёрнуть цель «просмотр 3 страниц», но не позвонит и не дойдёт до сделки — чем ближе метрика к деньгам, тем меньше её можно накрутить.

Что делать с настройками Метрики. Опция счётчика «Фильтровать роботов по поведению» удаляет роботные визиты из исходных данных навсегда, отменить это нельзя, и переключатель «с роботами / без роботов» после включения пропадает. Справка советует её только тем, кто выгружает сырые данные через Logs API; для обычной работы правильнее сегмент без роботов и переключатель. Фильтры по IP-адресам в счётчике — для своих офисов и подрядчиков, не для войны с ботами: адреса динамические, за одним IP сидят десятки несвязанных людей, и ручной бан подсетей вырезает клиентов вместе с мусором.

И про капчу на всех: она уместна на форме и в личном кабинете, где защищает от спама в заявках. На входе на сайт она стоит вам живых посетителей и поведенческих показателей — а сервисы накрутки её проходят. Защита от мусорных заявок — скрытые поля в форме, подтверждение телефона, проверка дублей в CRM. Защита от искажённой аналитики — сегмент, цели и звонки как источник правды. Это разные задачи, и решаются они на разных уровнях.