A/B-тесты на малом трафике: когда они врут и что делать вместо них

Подбросьте монету десять раз. Семь орлов и три решки — обычное дело, монета не кривая. Чтобы заподозрить неладное, бросать нужно сотни раз. С заявками так же: конверсия 3% — это три заявки на сто визитов, и на малых числах она гуляет сама по себе, без единой правки на сайте.

Теперь оцените, что вы хотите поймать. Микроправка — другой текст на кнопке, поле формы, порядок блоков — обычно двигает конверсию на доли процентного пункта: с 3% до 3,5%, если повезёт. Чтобы увидеть такую разницу и не спутать её со случайностью, каждому варианту нужны тысячи визитов и десятки заявок — не в сумме, а на каждый. Сайт услуг с тысячей визитов и тридцатью заявками в месяц при разделении пополам даёт по пятьсот визитов и по пятнадцать заявок на вариант, и разница между тринадцатью и семнадцатью не доказывает ничего.

Проверить это на своих данных можно за пять минут: откройте в Метрике конверсии по неделям за три месяца, когда сайт не менялся. Разброс между соседними неделями — скажем, пять заявок и девять — и есть шум, который тест обязан перекрыть. Если правка не обещает эффекта заметно больше этого разброса, тест на вашем объёме её не увидит, сколько бы дней ни шёл.

Самый частый источник ложного результата — подглядывание. Отчёт открывают каждый день, и в момент, когда вариант B вырывается вперёд, тест останавливают. Но при малых числах кривая гуляет в обе стороны, первым «вырваться» может любой вариант, и за неделю он с той же вероятностью откатится. Остановка на пике одного из вариантов — гарантированный способ получить победителя из ниоткуда.

Второй источник — время. У сайта услуг заявки идут в будни, а в выходные почти нет; у ремонта и стройки — сезон; у автосервиса — всплески после снега. Тест, запущенный во вторник и остановленный в воскресенье, сравнивает не варианты, а дни недели. Третий — трафик, который менялся во время теста: включили кампанию в РСЯ, поменяли ставки, вышли на первую страницу по запросу — состав посетителей стал другим, и на пятнадцати конверсиях на вариант это перекос, а не фон. Сюда же один клиент, оставивший три заявки с двух устройств, спам через форму и ваши собственные заходы с рабочего компьютера.

На малом трафике A/B-тест не работает, а сегменты работают отлично — потому что там ищут разницу «в разы», а не «в полпроцента», и такая разница видна на скромных числах. Открываем в Метрике отчёт по конверсиям и делим его тремя способами: по устройствам, по источникам, по страницам входа. За квартал сегменты накапливают достаточно, чтобы увидеть перекос.

Устройства: с телефона конверсия втрое ниже, чем с компьютера, при двух третях мобильного трафика — это не гипотеза для теста, а готовая задача: проходим форму со своего телефона и смотрим, не перекрывает ли клавиатура кнопку, не сбрасывается ли ввод. Источники: Директ приводит половину визитов и даёт одну заявку из десяти, органика — обратную картину; вопрос не к кнопке, а к тому, что обещает объявление и куда ведёт. Страницы входа: люди из поиска попадают на статью блога или общую страницу «услуги», где до формы три экрана и нет цены. Каждый такой перекос — задача с понятным исполнителем, и проверять её тестом не нужно: починенная форма либо возвращает заявки с телефонов, либо нет, и это видно в том же сегменте через месяц.

Когда чисел мало, преимущество у методов, которым числа не нужны. Первый — пройти путь клиента самому с чужого телефона: найти сайт по запросу, открыть страницу услуги, оставить заявку, позвонить по номеру из шапки в субботу днём. Часто именно здесь выясняется, что форма падает на определённой модели телефона, письмо с заявкой уходит в спам, а трубку берут через сорок минут.

Второй — прочитать переписки и послушать звонки за месяц. Вопросы первых двух минут («а сколько стоит», «а в область выезжаете», «а гарантия есть») — ровно то, чего нет на странице; такой список правок собирается за вечер. Третий — пять интервью с теми, кто уже купил, по двадцать минут по телефону: как искали, что сравнивали, что смутило на нашем сайте, почему выбрали. Пяти разговоров хватает, чтобы ответы начали повторяться, — и повторение и есть находка. Записи визитов и карта кликов дополняют картину со стороны сайта: как их смотреть и где они врут, разобрано в отдельной статье про Вебвизор. Здесь важно одно — на малом трафике записи можно посмотреть все до одной, и это их преимущество.

Из первой секции следует неудобный вывод: раз малый трафик не показывает маленький эффект, надо делать изменения с большим. Оттенок кнопки не поднимет конверсию вдвое, а переписанный первый экран — может: что именно вы делаете, для кого, за какой срок, от какой цены и что произойдёт после заявки. Туда же — цена на странице вместо «рассчитаем индивидуально», отдельная страница под конкретную услугу вместо общей, кнопка в Telegram рядом с формой для тех, кто не берёт трубку с незнакомых номеров.

Крупное изменение проверяется не тестом, а сравнением «до/после» — с оговорками, без которых оно превращается в самообман. Дату изменения записываем. Сравниваем одинаковые периоды: четыре полные недели до и четыре после. Смотрим по источникам отдельно — органику с органикой, Директ с Директом, чтобы изменение в рекламе не приписать сайту. Параллельно с правкой кампании не трогаем. Заявки сверяем с CRM: важно не «стало больше», а «стали ли целевыми». И честно признаём границы: «до/после» — свидетельство, а не доказательство; если рост совпал с сезоном или выходом в топ, часть эффекта не ваша. Но когда заявок стало вдвое больше при том же трафике из тех же источников, спорить со здравым смыслом не нужно — такое видно и на двадцати заявках в месяц.

Есть место, где у сайта услуг статистики достаточно, — рекламный кабинет. Показов и кликов там на порядки больше, чем заявок, поэтому сравнение двух заголовков объявления по кликабельности набирает данные за дни. В группе можно держать несколько объявлений — Директ показывает их и копит статистику по каждому, а вы через пару недель оставляете сильное. Для сравнения стратегий и посадочных в Директе есть эксперименты: аудитория делится на сегменты через Яндекс Аудитории, каждому показывается своя кампания, результат сравнивается в одинаковых условиях.

A/B-тест самого сайта уместен там, где счёт идёт на сотни конверсий в месяц: интернет-магазин, лендинг с большим потоком из рекламы, страница записи у сети клиник. У Яндекса для этого есть инструмент сплит-тестов Варио, работающий в связке с целями Метрики; подойдёт и другой сервис, если соблюдать правила: одна главная метрика назначена до старта, срок задан в полных неделях и не сокращается, на вариант накопились десятки конверсий, заявки сверены с CRM, а правка крупная, а не косметическая. Тест по этим пяти пунктам скажет правду и на сайте услуг — просто у большинства таких сайтов нет первого условия.

Перед тем как соглашаться на «давайте протестируем», ответьте на три вопроса. Сколько заявок приходит на эту страницу в месяц — если меньше сотни, тест микроправок отпадает. Насколько крупное изменение вы проверяете — оттенок кнопки на малом трафике не проверяется, новый оффер и цена проверяются через «до/после». Готовы ли не трогать тест и рекламу несколько полных недель — если нет, результат будет про подглядывание. Если хотя бы раз ответ «нет», время лучше вложить в разбор: сегменты, путь клиента, переписки, интервью, крупная правка первого экрана. Это и есть UX-аудит в том виде, в каком мы делаем его на сайтах с малым трафиком, а если данные по обращениям разъезжаются между Метрикой, звонками и CRM, сначала собираем их в одну картину — иначе и «до/после» считает неизвестно что.