Syntha Lab EN

Контрольная группа: эффект акции (разность разностей)

Сравнивает магазины или регионы в акции с похожими без неё до и после. Показывает эффект акции в штуках и процентах, грубый интервал по разбросу до акции, проверку «параллельных трендов» до акции и результат в деньгах.

Промо-акции: планирование и оценка Для кого: Аналитикам и руководителям сети, у которых акция шла в части магазинов или регионов.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Какой эффект дала акция, если сравнить с похожими магазинами без неё.
Какие данные нужны?
Недельные продажи магазинов в акции и контрольных за 4–8 недель до акции.
Как читать результат?
До акции отношение продаж тест ÷ контроль около 0,50, во время акции 165 ÷ 208 = 0,79: эффект +58,0 % (грубый интервал 55,7–60,3 %), то есть 60,6 шт. в неделю. Разность разностей 57,8 шт. в неделю. Нужный рост при скидке 20 % равен 50 %: прибыль по контролю +33 432 ₽ за две недели. Наклон отношения до акции 0,2 % в неделю: тренды шли параллельно. Пример на значениях по умолчанию: Эффект акции (относительный) — 58 %; Грубый интервал по разбросу до акции, от — 55,7 %; Грубый интервал по разбросу до акции, до — 60,3 %; Эффект по отношению: штук в неделю — 60,6 шт.

Зачем и как рассуждать

Чтобы понять, что дала акция, мало посмотреть, насколько выросли продажи в магазинах с акцией: они могли вырасти из-за сезона. Поэтому нужен контроль, похожие магазины без акции, и сравнение «до и после» в обеих группах, это и есть разность разностей. Сначала берём отношение продаж акционных магазинов к контрольным до акции: 101,7 ÷ 202,5 = 0,502. Во время акции то же отношение 165 ÷ 208 = 0,793. Эффект = 0,793 ÷ 0,502 − 1 = 58 %. В штуках: ожидаемые продажи без акции 208 × 0,502 = 104,4, фактические 165, прирост 60,6 шт. в неделю, за две недели 121 шт. Аддитивная оценка (разница приростов в штуках) 57,8 шт. даёт близкое число. Грубый интервал по разбросу недель до акции 55,7–60,3 %. Прибыль акции по контролю около 33 тыс. ₽ при скидке 20 %.

Когда применять

Применяйте, когда акция шла не во всех магазинах или регионах и можно выбрать похожий контроль. Главное допущение: до акции обе группы двигались параллельно, и расчёт проверяет это по наклону отношения. Не подходит, если акционные магазины выбраны не случайно (лучшие или худшие), если контроль подвергся влиянию (покупатели ездили туда) и если недель до акции меньше четырёх: оценка разброса ненадёжна. Для одной акции во всей сети нужно сравнение с baseline.

Как читать результат

Сначала проверьте наклон отношения до акции (0,21 % при допуске 2 %): если он мал, группы шли параллельно и вывод надёжен. Если наклон выше допуска, эффект смешан с разным трендом. Затем читайте эффект и интервал: 58 % с интервалом 56–60 % устойчив, если интервал пересекает ноль, эффекта нет. Прибыль по контролю переводит прирост в рубли, с учётом скидки; сравните её с расходами и с провалом после акции. Решение: масштабировать, если эффект стабилен и прибыль положительна. Если наклон отношения до акции выше допуска, подберите другие контрольные магазины или добавьте в расчёт недели до акции: без параллельных трендов вывод ненадёжен.

Типичные ошибки

Выбрать контрольные магазины «похожие по названию», а не по динамике; взять разные недели в группах; не учесть, что контроль тоже мог получить скидку конкурента; считать интервал точным (он грубый). Малое число магазинов делает вывод случайным. Не используйте как контроль магазины рядом с акционными: покупатели могут переезжать.

Какие данные нужны?

  • Недельные продажи магазинов в акции и контрольных за 4–8 недель до акции.
  • Средние недельные продажи обеих групп во время акции и число недель.
  • По желанию: цена, себестоимость, скидка и порог наклона отношения.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Магазины в акции: продажи в неделюшт. в неделю165Суммарные продажи магазинов в акции за неделю во время акции.
Контрольные магазины: продажи в неделюшт. в неделю208Суммарные продажи контрольных магазинов за неделю в те же недели.
Недель акциинед.2Сколько недель длилась акция.
Цена без скидки, без НДС₽5 000Пусто в цене, себестоимости или скидке: деньги не считать.
Себестоимость единицы без НДС₽2 000Себестоимость единицы без НДС, доставленная на склад.
Глубина скидки%20Скидка в процентах от цены до акции.
Допустимый наклон отношения до акции% в неделю2Условный ориентир, замените своим (единого норматива нет): наклон отношения «тест ÷ контроль» по неделям до акции выше порога означает, что тренды расходились.

Как считается

ШагФормула
Разность разностей(тест после − тест до) − (контроль после − контроль до)
Относительный эффект(тест после ÷ контроль после) ÷ (тест до ÷ контроль до) − 1
Ожидаемое без акцииконтроль после × (тест до ÷ контроль до)
Грубый интервалэффект ± 1,96 × вариация отношения × √(1 ÷ недель акции + 1 ÷ недель до)

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Эффект акции (относительный)
58 %Тест ÷ контроль после, относительно того же отношения до акции.
Грубый интервал по разбросу до акции, от
55,7 %Не доверительный интервал: учитывает только разброс отношения в недели до акции, не шум недель акции, поэтому на деле он шире.
Грубый интервал по разбросу до акции, до
60,3 %
Эффект по отношению: штук в неделю
60,6 шт.Мультипликативная оценка: контроль масштабируется на отношение групп до акции. От неё считаются проценты и прибыль. Факт − ожидаемое без акции (контроль × отношение до акции).
Аддитивная оценка, разность разностей: штук в неделю
57,8 шт.Контроль не масштабируется: изменение контроля вычитается как есть. Две оценки различаются, когда группы разного размера; проверка на прочность, а не вторая версия ответа: прибыль считается по оценке по отношению. (тест после − тест до) − (контроль после − контроль до).
Эффект за всю акцию
121,1 шт.
Наклон отношения до акции
0,2 % в неделю
Прибыль акции по контролю
33 432 ₽ · нужный рост 50 %

Тест и контроль до и после

ГруппаДо, в неделюПосле, в неделюИзменение
Магазины в акции101,716563,3
Контроль202,52085,5
Разность разностей57,8

Метод требует, чтобы без акции обе группы шли параллельно. Самоотбор (акция в лучших магазинах) ломает это условие; пересечение с другими акциями тоже. Интервал грубый, он построен только на разбросе до акции и не заменяет статистику: для крупных решений нужен анализ по магазинам. Когда какой метод: для рекламы и каналов «Инкрементальность канала: тест против контроля», для формата и ассортимента «Пилот в сети: эффект против контрольных магазинов».

Нюансы и ограничения

  • Если до акции тренды расходились, оценка смещена: подберите другие контрольные магазины.
  • Самоотбор: акцию дали лучшим магазинам.
  • Пересечение с другими акциями не даёт отделить эффект.
  • Интервал грубый; для крупных решений нужен анализ по магазинам.

Термины расчёта

Посчитать на своих данных →