Главная/Статьи/Маркетинг

Как измерить дополнительный эффект рекламы: контрольная группа и brand lift

14 ноября 2026·8 минут чтения
Как измерить вклад рекламы

Иллюстрация редакции.

Дополнительный, или инкрементальный, эффект рекламы отвечает на вопрос: что изменилось благодаря показам сверх результата, который произошёл бы без них. Для его оценки нужен обоснованный способ сравнить воздействие с ситуацией без воздействия. Отчёт о кликах и распределении заявок между каналами решает другую задачу.

Google описывает Conversion Lift через сравнение групп с рекламным воздействием и без него. Документация Microsoft Xandr также отделяет причинный эффект от атрибуции и описывает случайное разделение аудитории. Это общий принцип; доступность конкретного инструмента и условия исследования проверяются отдельно. Google, Microsoft.

Как сформулировать вопрос до эксперимента

Запрос «проверить эффективность» слишком широк. Команде придётся выбрать, какое изменение она собирается измерить: дополнительные покупки, заявки, знание бренда или намерение рассмотреть продукт. Эти показатели нельзя подменять друг другом в итоговом отчёте.

Рабочая формулировка включает воздействие, аудиторию, результат и период наблюдения. Например: «Проверяем, добавляет ли новая рекламная кампания обращения от выбранного сегмента в течение согласованного периода». Такой шаблон постановки задачи предстоит дополнить дизайном эксперимента.

После него запишите решение, которое зависит от результата. Будете расширять кампанию, менять сообщение или прекращать закупку? Исследование с заранее понятным решением проще защитить от соблазна выбрать удобный показатель после завершения.

Паспорт измерения

Поле Что зафиксировать
Воздействие Какие кампании и сообщения входят в проверку
Результат Одно основное событие и правила его учёта
Сравнение Как формируется ситуация без проверяемого воздействия
Единица распределения Пользователь, территория или другая обоснованная единица
Помехи Пересечение аудиторий, другие кампании, акции, изменение наличия
Период Наблюдение до воздействия, во время него и согласованное окно результата
Решение Минимальный полезный бизнесу эффект, правило продолжения или остановки, действие при неопределённом результате

Это предложенная редакцией форма задания специалисту по измерениям. Она не заменяет расчёт дизайна, мощности и неопределённости оценки.

Схема holdout: назначить группы до показов

Holdout здесь означает заранее выделенную группу, для которой исключают проверяемую рекламу. Ниже редакционная схема задания аналитикам. Она описывает оценку эффекта назначения рекламного воздействия. Техническую возможность исключения и доступность учёта нужно подтвердить до запуска.

  1. Определить подходящую аудиторию и событие. Например, считать долю участников, совершивших хотя бы одну первую покупку. Заранее закрепить единицу распределения, правила исключений, источник события и даты наблюдения.
  2. До начала показов случайно назначить участников в тест и контроль, сохранить назначение. В тесте разрешить проверяемую кампанию, для контроля исключить её во всех входящих в проверку размещениях. Фоновую рекламу и условия покупки планировать одинаково.
  3. Учитывать результат всех первоначально назначенных участников за одно согласованное окно. Отдельно проверить пропуски данных и пересечение устройств. Участник теста, которому реклама фактически не показалась, сохраняет исходное назначение в таком анализе.
  4. Сравнить доли покупателей, учитывая размеры групп. Передать аналитику расчёт интервала неопределённости с учётом дизайна. Затем сопоставить оценку с заранее выбранным полезным эффектом и ограничениями проверки.

Анализ по исходному назначению известен как intention-to-treat. J-PAL и учебник Всемирного банка отделяют его от оценки только среди фактических участников воздействия. Xandr отдельно предупреждает: сравнение увидевших рекламу с неувидевшими после рекламного аукциона может давать смещение отбора. Поэтому такой отбор меняет исследовательский вопрос и требует другого обоснования. J-PAL, Xandr.

Условная модель для чтения отчёта: 20 000 подходящих участников случайно разделили поровну до старта. Кампания идёт 28 дней, покупки обеих групп учитывают с первого по 35-й день. К концу окна у теста 120 покупателей из 10 000, у контроля 100 из 10 000. Доли равны 1,2% и 1%; наблюдаемая разность составляет 0,2 процентного пункта, или 20 покупателей на 10 000 участников.

Все числа придуманы. Это арифметическая иллюстрация, размер аудитории и сроки не являются рекомендацией. Без оценки неопределённости и проверки допущений она не доказывает эффект. Все 120 покупок рекламными не объявляем. Если контроль увидел кампанию через другое устройство или канал, отражаем это ограничение; исходное назначение задним числом не переписываем.

Когда рассматривают геотест

Географический подход использует территории в качестве единиц сравнения. Google описывает исследования Conversion Lift по регионам; проект Meta GeoLift предлагает геоэкспериментальную методологию на основе синтетического контроля. Пригодность конкретных территорий для проверки требует отдельного обоснования. Google, Meta GeoLift.

Для бизнеса схема геотеста может выглядеть так:

  1. Собрать одинаково определённый показатель по датам и территориям до кампании. Например, ежедневное число оплаченных заказов с единым правилом отнесения к региону. Устранить разрывы учёта, отметить акции, цены, наличие и изменения доставки.
  2. Вместе с аналитиком выбрать территории и способ сравнения до запуска. При возможности используют обоснованное случайное назначение. Для модельного сравнения, например синтетического контроля, по истории строят взвешенную комбинацию контрольных территорий. Она должна воспроизводить динамику тестовой территории до воздействия. Оценить качество подгонки и выполнимость проверки с доступными данными.
  3. Закрепить даты кампании и окно результата. В тестовых территориях включить проверяемое воздействие, в контрольных исключить его. Остальной план сохранить сопоставимым; отклонения заносить в журнал. Поездки покупателей и показы за границами территорий могут смешивать воздействие.
  4. После согласованного окна сопоставить фактический показатель теста с оценкой того, что произошло бы без кампании. В модельном варианте этот прогноз получают из связи, установленной до теста, и данных контрольных территорий. Показать разрыв, интервал неопределённости, качество исходного сравнения и события, мешающие интерпретации.

Роль истории и проверки модели показана в исходном руководстве GeoLift и работе Google о matched markets. Это разные реализации. Хорошее совпадение прошлого не гарантирует устойчивости связи после запуска: локальная акция, новый магазин или сбой доставки требуют отдельного разбора. Универсального требования «два одинаковых города» у этой схемы нет. GeoLift: последовательность работы, Google: исследование дизайна.

Условный пример задания: собрать историю заказов за 12 недель, выбрать допустимые территории, проверить модель и только затем решать, достаточно ли данных для четырёхнедельного воздействия. Эти сроки выбраны для примера. Если сравнение плохо воспроизводит прошлое или прогноз слишком неопределён, запуск откладывают и пересматривают дизайн. Число «продажи выросли на 15%» без такого сравнения задачу геотеста не закрывает.

Чем отличается brand lift

Brand lift исследует изменение восприятия бренда. В документации Google среди показателей названы знание бренда, воспоминание рекламы и намерение купить. TikTok описывает сравнение опросных показателей между случайно сформированными группами с воздействием и без него. Google, TikTok.

Покупательское намерение и состоявшаяся покупка остаются разными показателями. Если цель исследования связана с восприятием, в выводе следует назвать именно измеренное изменение. Добавлять к нему обещание роста выручки без отдельной проверки нельзя.

Перед запуском согласуйте вопросы анкеты и смысл ответов. Смена формулировки между группами или попытка выбрать наиболее красивый вопрос после получения результатов способны сделать итоговую историю убедительнее самого исследования.

Как принять отчёт

Попросите исполнителя показать первоначальный вопрос, правила сравнения, фактические отклонения от плана и ограничения. Затем проверьте, совпадает ли итоговая рекомендация с измеренным результатом.

Полезная формулировка может быть осторожной: «Полученная оценка не позволяет уверенно выбрать между сценариями». Она оставляет пространство для решения о следующей проверке. Уверенное число без описания метода такого пространства не создаёт.

Практику учёта источников заявок можно разобрать отдельно в статье про связь сайта, CRM и оплаты. Ограничения небольших экспериментов рассмотрены в материале об A/B-тестах.

Частые вопросы

Достаточно ли сравнить продажи до и после кампании?

Такое сравнение показывает изменение во времени. Для вывода о дополнительном эффекте нужно обосновать, почему изменение связано именно с проверяемым воздействием, и учесть альтернативные объяснения.

Можно ли провести исследование с небольшим объёмом событий?

Возможность зависит от ожидаемого эффекта, шума, дизайна и доступных данных. До запуска специалист должен оценить, какой вывод вообще сможет поддержать исследование.

Какой метод выбрать: brand lift или conversion lift?

Сначала выберите вопрос. Изменение знания и восприятия бренда относится к brand lift, дополнительные целевые действия, к conversion lift. Их можно планировать совместно, сохраняя отдельные показатели и ограничения.