При небольшом трафике A/B-тест может долго не давать достаточно данных для решения. Возможность обнаружить изменение зависит от исходной конверсии, размера эффекта, выбранного метода и числа независимых наблюдений. Простое сравнение двух процентов этой проверки не заменяет.
Если один вариант дал четыре заявки, а другой шесть, красивое «рост на 50%» описывает наблюдаемую разницу. Устойчивость эффекта по таким числам ещё предстоит оценить.
Разберите знаменатель до запуска
Условный пример: вариант A увидели 200 посетителей, заявку отправили четверо. Вариант B увидели ещё 200 посетителей, заявки отправили шестеро. Конверсии составили 2% и 3%, абсолютная разница равна одному процентному пункту.
Одна дополнительная заявка в группе из 200 меняет показатель на 0,5 процентного пункта. При таком масштабе результат чувствителен к единичным событиям. Следующие несколько обращений могут заметно поменять картину.
Для доли существует статистическая неопределённость. NIST описывает доверительные интервалы, в том числе особенности работы с небольшими выборками. Интервал показывает неопределённость оценки при заданном методе. Его нельзя читать как гарантию результата следующего месяца.
Какие параметры надо задать
| Параметр | Вопрос к команде | Условный ответ |
|---|---|---|
| Основная метрика | Что считаем успехом? | Квалифицированная заявка |
| Единица распределения | Кому назначается вариант? | Посетитель с устойчивым назначением |
| База | Каков текущий показатель? | Оценка по сопоставимому прошлому периоду |
| Полезный эффект | Какая разница оправдает изменение? | Увеличение с 2% до 3% |
| Ошибка первого рода | Какой риск ложного сигнала допускаем? | Заранее выбранный уровень значимости |
| Мощность | Какой шанс обнаружить заданный эффект нужен? | Заранее выбранное значение |
| Остановка | Когда принимаем решение? | По согласованному плану анализа |
Рассчитывать выборку нужно методом для вашего дизайна. Формулу для одной доли нельзя автоматически переносить на сравнение двух групп. В материале NIST о планировании выборки видно, как расчёт связан с эффектом, значимостью и мощностью.
Сохраните базовую конверсию, минимальный эффект, уровень значимости, мощность и единицу распределения рядом с результатом расчёта. Укажите метод и допущения, чтобы аналитик мог воспроизвести проверку.
Оцените срок до эксперимента
Допустим, после корректного расчёта команде нужно по 5 000 наблюдений на группу. Это условное число, не готовая норма для тестов. При 100 подходящих новых наблюдениях в день и равном распределении сбор 10 000 займёт примерно 100 дней.
За это время могут измениться рекламные кампании, ассортимент, сезон и обработка обращений. Добавьте время на созревание метрики: квалификацию заявки или оплату. Последний посетитель может дать результат позже дня остановки показа.
Если практический горизонт теста слишком велик, пересмотрите задачу. Возможно, нужно проверить более крупное изменение, сначала устранить явную ошибку формы или выбрать более частое полезное действие. Клик по кнопке допустим как отдельная метрика поведения; он не равен квалифицированной заявке.
Почему последовательное сравнение слабее случайного распределения
Неделя со старым экраном и неделя с новым могут отличаться источниками трафика, днями выплаты зарплаты, рекламными условиями и работой менеджеров. Изменение конверсии в таком сравнении имеет несколько возможных причин.
Рекомендуем параллельное распределение участников, когда оно технически и организационно возможно. Следите, чтобы один посетитель не видел разные варианты без предусмотренного дизайном основания. Проверяйте доли распределения и качество событий.
Общие принципы выбора эксперимента изложены в NIST: experimental design. Конкретный план для сайта нужно адаптировать к повторным визитам, устройствам и длительности сделки.
Не назначайте победителя при первом красивом результате
Если каждый день проверять обычный тест и останавливать его при удобном значении, фактические свойства такой процедуры будут отличаться от заранее заданного одноразового анализа. Последовательные методы существуют, но требуют своего плана и расчёта.
Простой вариант для команды: заранее согласовать объём, горизонт, основной показатель и правила действий при техническом сбое. Во время сбора проверять доставку событий и распределение. Итоговую оценку провести по выбранному плану.
Для сравнения двух долей NIST описывает тест с нормальной аппроксимацией. Это метод для определённых условий. При редких событиях и малых группах подходящий расчёт выбирает аналитик; механически применять любую формулу из интернета опасно для качества решения.
Что делать, когда посетителей мало
Проведите наблюдение за выполнением задачи: человек должен понять предложение, найти нужный раздел и отправить форму. Запишите конкретные затруднения. Такая проверка поможет найти проблему интерфейса, хотя процент роста продаж по ней не рассчитывают.
Изучите записи ошибок и обращения в поддержку. Если файл невозможно приложить с телефона, исправление этой ошибки имеет самостоятельное основание. Для этого не нужно ждать статистической победы нового дизайна.
Зафиксируйте в итоговом документе один из трёх результатов: убедительный эффект в рамках выбранного метода, отсутствие обнаруженного эффекта или недостаточно данных. Последняя формулировка полноценна. Решение о внедрении при неопределённости можно принять по другим аргументам, например удобству сопровождения, и прямо их назвать.
Источники
- NIST: доверительные интервалы доли, неопределённость оценки.
- NIST: размер выборки, параметры планирования; не готовая формула для двух групп.
- NIST: выбор дизайна эксперимента, планирование.
- NIST: сравнение двух долей, границы конкретного метода.