Инкрементальность канала: тест против контроля
Сравнивает выручку группы, где реклама включена, с похожей группой без неё. Показывает приростную выручку, приростную отдачу и прибыль после затрат и сравнивает с отчётом рекламной площадки по последнему клику.
Коротко
- Какой вопрос решает расчёт?
- Что канал добавил продажам сверх того, что пришло бы и без него, и окупается ли это.
- Какие данные нужны?
- Выручка группы с рекламой и похожей группы без неё за один период, без НДС; по желанию и за период до теста.
- Как читать результат?
- Сначала прибыль после затрат и приростная отдача против безубыточной. Затем сравните с отчётной отдачей площадки: разница показывает, насколько последний клик завышает отдачу. Если прирост меньше разброса, продлите тест. Пример на значениях по умолчанию: Приростная выручка — 2,1 млн ₽; Прирост к контролю — 17,4 %; Приростная отдача (ROAS) — 1,4×; Безубыточная отдача — 1,92×.
Зачем и как рассуждать
Рекламная площадка видит заказы, к которым была рядом: она припишет себе покупателя, который и без рекламы пришёл бы. Поэтому настоящую пользу показывает только сравнение с похожей группой, где рекламы не было. Инкрементальная выручка = выручка группы с рекламой минус выручка контроля: 14,2 − 12,1 = 2,1 млн ₽, прирост к контролю 17,4 %. Затраты на рекламу 1,5 млн, значит приростная отдача (ROAS) 2,1 ÷ 1,5 = 1,4. Реклама окупается, только если отдача выше безубыточной, а она равна 1 ÷ маржа = 1 ÷ 0,52 = 1,92: каждый рубль рекламы должен вернуть 1,92 ₽ выручки, чтобы покрыть себя маржой. Здесь 1,4 меньше, прибыль −408 тыс. ₽. Площадка же сообщает 6,8 млн (отдача 4,5), то есть в 3,2 раза больше приростной: разница это покупатели, которые пришли сами.
Когда применять
Расчёт нужен, когда хотите знать реальную пользу канала и можете выделить контрольную группу (регион, часть аудитории, период без рекламы) похожую по размеру и поведению. Допущение: группы сопоставимы и на них не влияло ничего, кроме рекламы. Не подходит при малых объёмах (разброс скроет эффект), при разных сезонах у групп и для канала, который работает через долгий срок (бренд): тест короткий и недооценит. Если есть выручка до теста, введите её: расчёт поправит разницу исходных уровней.
Как читать результат
Сравните приростную отдачу с безубыточной: выше значит, что канал окупает себя, ниже значит, что он убыточен на марже. Прибыль после затрат переводит это в рубли. Разрыв с отчётом площадки (3,2 раза) показывает, насколько панель завышает пользу, и не позволяет судить о бюджете по ней. Сравните прирост с обычным разбросом групп: если прирост 17 % при разбросе 5 %, сигнал есть; если 6 %, это может быть шум. Решение: снизить бюджет в убыточном канале, повторить тест, проверить на другом периоде. Если эффект не подтвердился, не отключайте канал сразу: повторите тест на другой период и на другой доле аудитории, а затем решайте, сокращать ли бюджет.
Типичные ошибки
Сравнивать с неподходящим контролем (другой город, другой размер); считать выручку с НДС в одной группе и без в другой; игнорировать, что реклама работает с лагом; делать вывод из одной недели. Один тест не вечен: пересматривайте раз в сезон. Не меняйте креативы и цены в тестовой группе во время теста.
Какие данные нужны?
- Выручка группы с рекламой и похожей группы без неё за один период, без НДС; по желанию и за период до теста.
- Затраты теста и маржа.
- По желанию: отчёт площадки и обычный разброс между группами.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Выручка группы с рекламой за тест, без НДС | ₽ | 14 200 000 | Без НДС, как и все суммы в этом расчёте: маржа применяется к выручке без НДС. |
| Выручка похожей группы без рекламы за тест, без НДС | ₽ | 12 100 000 | Тот же период и сопоставимый размер: города, регионы или случайные группы клиентов. Без НДС. |
| Затраты на рекламу в тесте | ₽ | 1 500 000 | Затраты на рекламу в канале за тест, без НДС. |
| Валовая маржа | % | 52 | Валовая маржа с продаж, в процентах от выручки без НДС. |
| Выручка, которую приписала себе площадка, без НДС | ₽ | 6 800 000 | Из кабинета, по последнему клику; если кабинет показывает суммы с НДС, уберите НДС. |
| Выручка группы с рекламой до теста, без НДС | ₽ | — | Необязательно. Тот же по длине период до включения рекламы. Если заполнены обе выручки «до», эффект считается к базе каждой группы (как в разности разностей), а не по разнице уровней. |
| Выручка контроля до теста, без НДС | ₽ | — | Необязательно, парное поле к предыдущему. |
| Обычный разброс выручки между группами без рекламы | % | 5 | Если прирост меньше разброса, он может быть случайным. |
Как считается
| Шаг | Формула |
|---|---|
| Прирост | Выручка группы с рекламой − выручка контроля |
| Приростная отдача | Приростная выручка ÷ затраты |
| Прибыль | Приростная выручка × маржа − затраты |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Приростная выручка
- 2,1 млн ₽
- Прирост к контролю
- 17,4 %Без выручки до теста считается разница уровней: она смещена, если группы исходно разного размера.
- Приростная отдача (ROAS)
- 1,4×
- Безубыточная отдача
- 1,92×1 ÷ маржа: меньшая отдача не покрывает затраты.
- Прибыль после затрат
- −408 000 ₽
- Отчётная отдача площадки
- 4,53×
- Отчёт площадки выше приростного в
- 3,24×
Прирост есть, но не окупает затраты: не хватает 408 000 ₽. Нужна отдача не ниже 1,92×.
Когда какой метод. Этот расчёт: реклама или канал, две группы, прибыль и отдача. «Контрольная группа: эффект акции (разность разностей)» (акции): эффект акции со сдвигом контроля. «Пилот в сети: эффект против контрольных магазинов» (формат, ассортимент): пилотные магазины против контрольных, отношение до и после. Все три сравнивают тест с контролем; выбирайте по предмету теста, а при выручке до теста здесь используется та же поправка, что в разности разностей.
Группы должны быть сопоставимы по размеру и сезону. Реклама подлежит маркировке (идентификатор erid); проверьте требования с юристом.
Нюансы и ограничения
- Разные по размеру и сезону группы.
- Слишком короткий тест и случайные скачки.
- Верить отчёту площадки по последнему клику вместо теста.
- Брать разницу уровней, когда группы исходно разного размера: введите выручку до теста. Для акций и пилотов в магазинах есть свои расчёты с контролем.