Пилот в сети: эффект против контрольных магазинов
Проверяет, что новая выкладка, форма продавцов или цена дала эффект, а не сезон: сравнивает изменение продаж в пилотных магазинах с изменением в контрольных. Показывает эффект в процентах, интервал по разбросу магазинов и прибыль пилота.
Коротко
- Какой вопрос решает расчёт?
- Дало ли изменение эффект сверх сезона и стоит ли раскатывать его на сеть.
- Какие данные нужны?
- Продажи в неделю до и после по каждому пилотному магазину.
- Как читать результат?
- Пилот из четырёх магазинов вырос на 9,8 %, контроль на 1,8 %: эффект +7,8 % (грубый интервал от +5,9 до +9,9 %, ноль в него не входит). Прирост около 244 тысяч ₽ в неделю даёт прибыль пилота 0,58 млн ₽ за 6 недель при затратах 150 тысяч. Пример на значениях по умолчанию: Эффект пилота (к контролю) — 7,8 %; Интервал (грубый, 95 %): от — 5,9 %; Интервал (грубый, 95 %): до — 9,9 %; Прирост продаж в неделю против контроля — 243 817 ₽.
Зачем и как рассуждать
Пилот показывает эффект только в сравнении: продажи в пилотных магазинах могли вырасти из-за сезона, и тогда это не эффект. Поэтому берём контрольные магазины без изменения и сравниваем динамику. Пилотные: до 3 070 тыс., после 3 370 тыс. (+9,77 %). Контрольные: до 3 060 тыс., после 3 116 тыс. (+1,83 %). Эффект = 1,0977 ÷ 1,0183 − 1 = 7,8 %: столько пилот добавил сверх того, что дал сезон. Прирост в неделю против контроля: 3 370 − 3 070 × 1,0183 = 243,8 тыс. ₽. Прибыль пилота за 6 недель при марже 50 % и затратах 150 тыс.: 243,8 × 6 × 0,5 − 150 = 581 тыс. ₽. Магазины различаются между собой, поэтому считается интервал по разбросу магазинов: 5,9–9,9 %. Он не содержит ноль, то есть эффект отличим от шума.
Когда применять
Расчёт нужен перед внедрением новой выкладки, формы продавцов, цены или сервиса во всей сети: запустите в нескольких магазинах и сравните с похожими. Нужно хотя бы 3–4 пилотных и столько же контрольных магазинов. Допущение: пилотные и контрольные магазины сопоставимы по размеру и сезону, и контроль не знает о пилоте. Не подходит при одном магазине в группе, если пилот совпал с акцией, и при короткой длительности (менее 4 недель).
Как читать результат
Смотрите на эффект и интервал: если интервал выше нуля, масштабируйте. Если он включает ноль, пилот не доказал пользу, и стоит продлить или усилить. Размеры групп до пилота (отношение 1,003) показывают, что группы схожи: сильно отличающиеся группы искажают вывод. Прибыль пилота сравните с затратами на тираж на всю сеть: 581 тыс. за 6 недель в четырёх магазинах не гарантирует такую же отдачу в сети из 40. Решение: масштабировать постепенно. Стоит зафиксировать до старта правило: при эффекте и интервале выше нуля пилот масштабируется на следующую группу магазинов, иначе пилот превращается в обсуждение вкусов.
Типичные ошибки
Выбирать для пилота лучшие магазины; не иметь контроля; сравнивать разные периоды; брать для пилота разные размеры магазинов; сделать вывод после одной недели. Нельзя менять что-то ещё в пилотных магазинах: тогда вы не поймёте, что сработало. Не включайте в контроль магазины, где шёл ремонт или менялось руководство.
Какие данные нужны?
- Продажи в неделю до и после по каждому пилотному магазину.
- То же по контрольным магазинам, которые не получили изменения.
- По желанию: маржа, длительность и затраты пилота.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Маржа с продаж | % | 50 | Доля выручки без НДС после себестоимости товара. Пусто: деньги не считаются. |
| Длительность пилота | нед. | 6 | Недели, за которые считается прибавка. Пусто: деньги не считаются. |
| Затраты на пилот | ₽ | 150 000 | Материалы, обучение, время. Пусто: ноль. |
| Мощность проверки | 80 %: чаще всего | Вероятность заметить эффект, если он есть; уровень значимости 5 %. Выбор за вами: единого норматива нет. | |
| Какой эффект важно не упустить | п. п. | — | Необязательно. Эффект пилота в процентных пунктах динамики продаж. Пусто: покажем только минимально обнаружимый эффект при текущих группах. |
Как считается
| Шаг | Формула |
|---|---|
| Динамика группы | продажи после ÷ продажи до |
| Эффект | динамика пилота ÷ динамика контроля − 1 |
| Интервал | по разбросу динамики отдельных магазинов (t-распределение): (среднее пилота ÷ среднее контроля) ± t × стандартная ошибка |
| Прибыль | прирост в неделю × недели × маржа − затраты пилота |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Эффект пилота (к контролю)
- 7,8 %Рост пилота относительно роста контроля.
- Интервал (грубый, 95 %): от
- 5,9 %
- Интервал (грубый, 95 %): до
- 9,9 %
- Прирост продаж в неделю против контроля
- 243 817 ₽Продажи пилота после минус продажи пилота до × динамика контроля.
- Динамика: пилот и контроль
- 9,8 % · контроль 1,8 %
- Прибыль пилота за период
- 581 451 ₽
- Размер групп до пилота: пилот к контролю
- 1×
- Разность разностей: интервал 95 %, от
- 6 п. п.Средняя динамика пилотного магазина минус контрольного, интервал по разбросу магазинов (Уэлч).
- Разность разностей: интервал 95 %, до
- 10,1 п. п.
- Минимально обнаружимый эффект
- 2,2 п. п.Меньший эффект при таком числе магазинов и таком разбросе от случайных колебаний не отличить. Приближение по нормальному закону.
Группы до и после
| Группа | Магазинов | Продажи в неделю до | После | Динамика |
|---|---|---|---|---|
| Пилот | 4 | 3,07 млн ₽ | 3,37 млн ₽ | 9,8 % |
| Контроль | 4 | 3,06 млн ₽ | 3,12 млн ₽ | 1,8 % |
Когда какой метод. Этот расчёт: формат, выкладка, ассортимент в магазинах, отношение до и после с интервалом по разбросу магазинов. «Контрольная группа: эффект акции (разность разностей)»: акция, ряд недель до неё, параллельность трендов. «Инкрементальность канала: тест против контроля»: реклама и каналы, прибыль и отдача. Все три сравнивают тест с контролем; выбирайте по предмету теста.
Метод работает, если до пилота магазины двигались похоже, а контроль не получил изменения. Сезон, акции и открытие рядом конкурента учитывайте отдельно. Выбор «лучших» магазинов для пилота завышает эффект.
Нюансы и ограничения
- Пилотные магазины выбирайте до пилота, а не по результатам.
- Контроль должен быть похож на пилот по размеру, региону и динамике до пилота.
- Сезон, акции и открытие рядом конкурента учитывайте отдельно.