Контрольная группа: эффект акции (разность разностей)
Сравнивает магазины или регионы в акции с похожими без неё до и после. Показывает эффект акции в штуках и процентах, грубый интервал по разбросу до акции, проверку «параллельных трендов» до акции и результат в деньгах.
Коротко
- Какой вопрос решает расчёт?
- Какой эффект дала акция, если сравнить с похожими магазинами без неё.
- Какие данные нужны?
- Недельные продажи магазинов в акции и контрольных за 4–8 недель до акции.
- Как читать результат?
- До акции отношение продаж тест ÷ контроль около 0,50, во время акции 165 ÷ 208 = 0,79: эффект +58,0 % (грубый интервал 55,7–60,3 %), то есть 60,6 шт. в неделю. Разность разностей 57,8 шт. в неделю. Нужный рост при скидке 20 % равен 50 %: прибыль по контролю +33 432 ₽ за две недели. Наклон отношения до акции 0,2 % в неделю: тренды шли параллельно. Пример на значениях по умолчанию: Эффект акции (относительный) — 58 %; Грубый интервал по разбросу до акции, от — 55,7 %; Грубый интервал по разбросу до акции, до — 60,3 %; Эффект по отношению: штук в неделю — 60,6 шт.
Зачем и как рассуждать
Чтобы понять, что дала акция, мало посмотреть, насколько выросли продажи в магазинах с акцией: они могли вырасти из-за сезона. Поэтому нужен контроль, похожие магазины без акции, и сравнение «до и после» в обеих группах, это и есть разность разностей. Сначала берём отношение продаж акционных магазинов к контрольным до акции: 101,7 ÷ 202,5 = 0,502. Во время акции то же отношение 165 ÷ 208 = 0,793. Эффект = 0,793 ÷ 0,502 − 1 = 58 %. В штуках: ожидаемые продажи без акции 208 × 0,502 = 104,4, фактические 165, прирост 60,6 шт. в неделю, за две недели 121 шт. Аддитивная оценка (разница приростов в штуках) 57,8 шт. даёт близкое число. Грубый интервал по разбросу недель до акции 55,7–60,3 %. Прибыль акции по контролю около 33 тыс. ₽ при скидке 20 %.
Когда применять
Применяйте, когда акция шла не во всех магазинах или регионах и можно выбрать похожий контроль. Главное допущение: до акции обе группы двигались параллельно, и расчёт проверяет это по наклону отношения. Не подходит, если акционные магазины выбраны не случайно (лучшие или худшие), если контроль подвергся влиянию (покупатели ездили туда) и если недель до акции меньше четырёх: оценка разброса ненадёжна. Для одной акции во всей сети нужно сравнение с baseline.
Как читать результат
Сначала проверьте наклон отношения до акции (0,21 % при допуске 2 %): если он мал, группы шли параллельно и вывод надёжен. Если наклон выше допуска, эффект смешан с разным трендом. Затем читайте эффект и интервал: 58 % с интервалом 56–60 % устойчив, если интервал пересекает ноль, эффекта нет. Прибыль по контролю переводит прирост в рубли, с учётом скидки; сравните её с расходами и с провалом после акции. Решение: масштабировать, если эффект стабилен и прибыль положительна. Если наклон отношения до акции выше допуска, подберите другие контрольные магазины или добавьте в расчёт недели до акции: без параллельных трендов вывод ненадёжен.
Типичные ошибки
Выбрать контрольные магазины «похожие по названию», а не по динамике; взять разные недели в группах; не учесть, что контроль тоже мог получить скидку конкурента; считать интервал точным (он грубый). Малое число магазинов делает вывод случайным. Не используйте как контроль магазины рядом с акционными: покупатели могут переезжать.
Какие данные нужны?
- Недельные продажи магазинов в акции и контрольных за 4–8 недель до акции.
- Средние недельные продажи обеих групп во время акции и число недель.
- По желанию: цена, себестоимость, скидка и порог наклона отношения.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Магазины в акции: продажи в неделю | шт. в неделю | 165 | Суммарные продажи магазинов в акции за неделю во время акции. |
| Контрольные магазины: продажи в неделю | шт. в неделю | 208 | Суммарные продажи контрольных магазинов за неделю в те же недели. |
| Недель акции | нед. | 2 | Сколько недель длилась акция. |
| Цена без скидки, без НДС | ₽ | 5 000 | Пусто в цене, себестоимости или скидке: деньги не считать. |
| Себестоимость единицы без НДС | ₽ | 2 000 | Себестоимость единицы без НДС, доставленная на склад. |
| Глубина скидки | % | 20 | Скидка в процентах от цены до акции. |
| Допустимый наклон отношения до акции | % в неделю | 2 | Условный ориентир, замените своим (единого норматива нет): наклон отношения «тест ÷ контроль» по неделям до акции выше порога означает, что тренды расходились. |
Как считается
| Шаг | Формула |
|---|---|
| Разность разностей | (тест после − тест до) − (контроль после − контроль до) |
| Относительный эффект | (тест после ÷ контроль после) ÷ (тест до ÷ контроль до) − 1 |
| Ожидаемое без акции | контроль после × (тест до ÷ контроль до) |
| Грубый интервал | эффект ± 1,96 × вариация отношения × √(1 ÷ недель акции + 1 ÷ недель до) |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Эффект акции (относительный)
- 58 %Тест ÷ контроль после, относительно того же отношения до акции.
- Грубый интервал по разбросу до акции, от
- 55,7 %Не доверительный интервал: учитывает только разброс отношения в недели до акции, не шум недель акции, поэтому на деле он шире.
- Грубый интервал по разбросу до акции, до
- 60,3 %
- Эффект по отношению: штук в неделю
- 60,6 шт.Мультипликативная оценка: контроль масштабируется на отношение групп до акции. От неё считаются проценты и прибыль. Факт − ожидаемое без акции (контроль × отношение до акции).
- Аддитивная оценка, разность разностей: штук в неделю
- 57,8 шт.Контроль не масштабируется: изменение контроля вычитается как есть. Две оценки различаются, когда группы разного размера; проверка на прочность, а не вторая версия ответа: прибыль считается по оценке по отношению. (тест после − тест до) − (контроль после − контроль до).
- Эффект за всю акцию
- 121,1 шт.
- Наклон отношения до акции
- 0,2 % в неделю
- Прибыль акции по контролю
- 33 432 ₽ · нужный рост 50 %
Тест и контроль до и после
| Группа | До, в неделю | После, в неделю | Изменение |
|---|---|---|---|
| Магазины в акции | 101,7 | 165 | 63,3 |
| Контроль | 202,5 | 208 | 5,5 |
| Разность разностей | 57,8 |
Метод требует, чтобы без акции обе группы шли параллельно. Самоотбор (акция в лучших магазинах) ломает это условие; пересечение с другими акциями тоже. Интервал грубый, он построен только на разбросе до акции и не заменяет статистику: для крупных решений нужен анализ по магазинам. Когда какой метод: для рекламы и каналов «Инкрементальность канала: тест против контроля», для формата и ассортимента «Пилот в сети: эффект против контрольных магазинов».
Нюансы и ограничения
- Если до акции тренды расходились, оценка смещена: подберите другие контрольные магазины.
- Самоотбор: акцию дали лучшим магазинам.
- Пересечение с другими акциями не даёт отделить эффект.
- Интервал грубый; для крупных решений нужен анализ по магазинам.