Syntha Lab EN

Пилот в сети: эффект против контрольных магазинов

Проверяет, что новая выкладка, форма продавцов или цена дала эффект, а не сезон: сравнивает изменение продаж в пилотных магазинах с изменением в контрольных. Показывает эффект в процентах, интервал по разбросу магазинов и прибыль пилота.

Формат точки, аренда и судьба магазина Для кого: Директорам сети и маркетологам, вводящим изменение в магазинах.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Дало ли изменение эффект сверх сезона и стоит ли раскатывать его на сеть.
Какие данные нужны?
Продажи в неделю до и после по каждому пилотному магазину.
Как читать результат?
Пилот из четырёх магазинов вырос на 9,8 %, контроль на 1,8 %: эффект +7,8 % (грубый интервал от +5,9 до +9,9 %, ноль в него не входит). Прирост около 244 тысяч ₽ в неделю даёт прибыль пилота 0,58 млн ₽ за 6 недель при затратах 150 тысяч. Пример на значениях по умолчанию: Эффект пилота (к контролю) — 7,8 %; Интервал (грубый, 95 %): от — 5,9 %; Интервал (грубый, 95 %): до — 9,9 %; Прирост продаж в неделю против контроля — 243 817 ₽.

Зачем и как рассуждать

Пилот показывает эффект только в сравнении: продажи в пилотных магазинах могли вырасти из-за сезона, и тогда это не эффект. Поэтому берём контрольные магазины без изменения и сравниваем динамику. Пилотные: до 3 070 тыс., после 3 370 тыс. (+9,77 %). Контрольные: до 3 060 тыс., после 3 116 тыс. (+1,83 %). Эффект = 1,0977 ÷ 1,0183 − 1 = 7,8 %: столько пилот добавил сверх того, что дал сезон. Прирост в неделю против контроля: 3 370 − 3 070 × 1,0183 = 243,8 тыс. ₽. Прибыль пилота за 6 недель при марже 50 % и затратах 150 тыс.: 243,8 × 6 × 0,5 − 150 = 581 тыс. ₽. Магазины различаются между собой, поэтому считается интервал по разбросу магазинов: 5,9–9,9 %. Он не содержит ноль, то есть эффект отличим от шума.

Когда применять

Расчёт нужен перед внедрением новой выкладки, формы продавцов, цены или сервиса во всей сети: запустите в нескольких магазинах и сравните с похожими. Нужно хотя бы 3–4 пилотных и столько же контрольных магазинов. Допущение: пилотные и контрольные магазины сопоставимы по размеру и сезону, и контроль не знает о пилоте. Не подходит при одном магазине в группе, если пилот совпал с акцией, и при короткой длительности (менее 4 недель).

Как читать результат

Смотрите на эффект и интервал: если интервал выше нуля, масштабируйте. Если он включает ноль, пилот не доказал пользу, и стоит продлить или усилить. Размеры групп до пилота (отношение 1,003) показывают, что группы схожи: сильно отличающиеся группы искажают вывод. Прибыль пилота сравните с затратами на тираж на всю сеть: 581 тыс. за 6 недель в четырёх магазинах не гарантирует такую же отдачу в сети из 40. Решение: масштабировать постепенно. Стоит зафиксировать до старта правило: при эффекте и интервале выше нуля пилот масштабируется на следующую группу магазинов, иначе пилот превращается в обсуждение вкусов.

Типичные ошибки

Выбирать для пилота лучшие магазины; не иметь контроля; сравнивать разные периоды; брать для пилота разные размеры магазинов; сделать вывод после одной недели. Нельзя менять что-то ещё в пилотных магазинах: тогда вы не поймёте, что сработало. Не включайте в контроль магазины, где шёл ремонт или менялось руководство.

Какие данные нужны?

  • Продажи в неделю до и после по каждому пилотному магазину.
  • То же по контрольным магазинам, которые не получили изменения.
  • По желанию: маржа, длительность и затраты пилота.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Маржа с продаж%50Доля выручки без НДС после себестоимости товара. Пусто: деньги не считаются.
Длительность пилотанед.6Недели, за которые считается прибавка. Пусто: деньги не считаются.
Затраты на пилот₽150 000Материалы, обучение, время. Пусто: ноль.
Мощность проверки80 %: чаще всегоВероятность заметить эффект, если он есть; уровень значимости 5 %. Выбор за вами: единого норматива нет.
Какой эффект важно не упуститьп. п.—Необязательно. Эффект пилота в процентных пунктах динамики продаж. Пусто: покажем только минимально обнаружимый эффект при текущих группах.

Как считается

ШагФормула
Динамика группыпродажи после ÷ продажи до
Эффектдинамика пилота ÷ динамика контроля − 1
Интервалпо разбросу динамики отдельных магазинов (t-распределение): (среднее пилота ÷ среднее контроля) ± t × стандартная ошибка
Прибыльприрост в неделю × недели × маржа − затраты пилота

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Эффект пилота (к контролю)
7,8 %Рост пилота относительно роста контроля.
Интервал (грубый, 95 %): от
5,9 %
Интервал (грубый, 95 %): до
9,9 %
Прирост продаж в неделю против контроля
243 817 ₽Продажи пилота после минус продажи пилота до × динамика контроля.
Динамика: пилот и контроль
9,8 % · контроль 1,8 %
Прибыль пилота за период
581 451 ₽
Размер групп до пилота: пилот к контролю
1×
Разность разностей: интервал 95 %, от
6 п. п.Средняя динамика пилотного магазина минус контрольного, интервал по разбросу магазинов (Уэлч).
Разность разностей: интервал 95 %, до
10,1 п. п.
Минимально обнаружимый эффект
2,2 п. п.Меньший эффект при таком числе магазинов и таком разбросе от случайных колебаний не отличить. Приближение по нормальному закону.

Группы до и после

ГруппаМагазиновПродажи в неделю доПослеДинамика
Пилот43,07 млн ₽3,37 млн ₽9,8 %
Контроль43,06 млн ₽3,12 млн ₽1,8 %

Когда какой метод. Этот расчёт: формат, выкладка, ассортимент в магазинах, отношение до и после с интервалом по разбросу магазинов. «Контрольная группа: эффект акции (разность разностей)»: акция, ряд недель до неё, параллельность трендов. «Инкрементальность канала: тест против контроля»: реклама и каналы, прибыль и отдача. Все три сравнивают тест с контролем; выбирайте по предмету теста.

Метод работает, если до пилота магазины двигались похоже, а контроль не получил изменения. Сезон, акции и открытие рядом конкурента учитывайте отдельно. Выбор «лучших» магазинов для пилота завышает эффект.

Нюансы и ограничения

  • Пилотные магазины выбирайте до пилота, а не по результатам.
  • Контроль должен быть похож на пилот по размеру, региону и динамике до пилота.
  • Сезон, акции и открытие рядом конкурента учитывайте отдельно.

Термины расчёта

Посчитать на своих данных →