A/B-тесты для акций и промо: гипотеза, выборка, мощность, p-значение, подглядывание
Как честно проверить, что акция, цена или изменение сайта работают: сформулировать гипотезу, посчитать размер выборки и срок, оценить результат p-значением и интервалом, не обмануться множественными сравнениями и подглядыванием. По итогу решают, внедрять изменение или нет и с какой уверенностью, а когда тест надо продолжить.
Зачем этот документ
Документ читают руководитель e-commerce, маркетинга и аналитик перед тем, как раскатывать акцию, цену или новый экран на всех. Нужен он потому, что разница в конверсии между двумя группами часто чистый шум, и без расчёта выборки тест либо ничего не показывает, либо даёт ложный успех. Подглядывание в результаты и десяток сравнений сразу сильно увеличивают шанс увидеть эффект там, где его нет. Заранее посчитанная выборка, срок и минимальный заметный эффект защищают от решения, которое стоит денег.
Коротко
- Что это за документ и зачем он нужен?
- Как честно проверить, что акция, цена или изменение сайта работают: сформулировать гипотезу, посчитать размер выборки и срок, оценить результат p-значением и интервалом, не обмануться множественными сравнениями и подглядыванием. По итогу решают, внедрять изменение или нет и с какой уверенностью, а когда тест надо продолжить.
- Кто отвечает за документ и как часто его пересчитывать?
- Аналитик эксперимента вместе с владельцем гипотезы (маркетинг, e-commerce, категорийный менеджер); дизайн теста утверждается до запуска, результат фиксируется протоколом; финансист получает оценку эффекта в деньгах.
- Какие ошибки встречаются чаще всего?
- Запускают тест без расчёта выборки → не хватает мощности, эффект не виден → считайте n и срок до запуска. Подглядывают и останавливают при первом p < 0,05 → ложные успехи вырастают в разы → одна проверка или последовательный план. Сравнивают пять вариантов без поправки → один «выигрыш» случаен → поправка Холма или Бонферрони.
Для кого
- Бренд
- Бренд проверяет изменения в собственных каналах: страницы, рассылки, цены, акции D2C; в опте и на маркетплейсах контроль ограничен, поэтому используют гео-тесты и до/после с контрольной группой. Эффект переводят в маржу, а не в клики.
- Ритейл
- Ритейлер проверяет акции и выкладку на группах магазинов (тест и контроль с похожей историей) и онлайн на части трафика; выбирают пары магазинов, сопоставимых по размеру, региону и динамике, иначе различие групп съедает эффект.
Из чего состоит
Гипотеза и метрика
- Нулевая гипотеза H₀: эффекта нет; альтернатива H₁: эффект есть. Главная метрика одна (конверсия, маржа на посетителя, средний чек), заранее; побочные метрики (возвраты, выручка соседних товаров) защитные и в решении не участвуют, пока не нарушены.
- Минимально значимый эффект (MDE) задаётся деньгами: наименьшее улучшение, которое окупит изменение и усилия. Тест, неспособный обнаружить MDE, не запускают.
Размер выборки, мощность и срок
- Для двух долей n на группу = 2·(z_(α/2) + z_β)²·p̄(1 − p̄)/δ². При базовой конверсии 9 %, α = 5 %, мощности 80 % и MDE +10 % относительно (9 → 9,9 %) нужно 16 583 посетителей на группу; для MDE +5 % уже 64 915, для +20 % 4 322. Размер растёт как 1/δ²: вдвое меньший эффект требует вчетверо большей выборки.
- При трафике 18 400 посетителей в неделю на сайт (поровну на две группы) нужная выборка набирается за 1,8 недели, а срок округляют до целых недель (две), чтобы охватить все дни недели. Мощность 80 % достигается на 16 584 посетителях на группу, на 8 000 она всего 49 %.
Результат: p-значение и интервал
- Пример: контроль 1 530 покупок из 17 000 (9 %), вариант 1 683 из 17 000 (9,9 %). Z = 2,84, p = 0,0046; интервал разницы 0,28…1,52 п. п. p-значение это вероятность увидеть такую или большую разницу при отсутствии эффекта, а не вероятность того, что гипотеза верна.
- Решение принимают по интервалу и деньгам: нижняя граница интервала, переведённая в маржу, должна окупать изменение; «значимо, но мало» не повод внедрять.
Множественные сравнения и подглядывание
- Пять вариантов против контроля при α = 5 % дают вероятность хотя бы одного ложного успеха 22,6 %. Поправка Бонферрони (α/m = 1 %) отклоняет 1 из 5 гипотез при p = 0,003; 0,012; 0,021; 0,04; 0,3, поправка Холма (ступенчатая) отклоняет 2: Холм мощнее при том же контроле ошибок.
- Подглядывание (остановка при первом p < 0,05) раздувает ложные срабатывания: при пяти равноотстоящих проверках на тесте без эффекта они случаются в 14,2 % случаев вместо 5 %, при десяти 19,3 %, при двадцати 24,8 % (точный расчёт численным интегрированием). Либо одна проверка в заранее назначенный день, либо последовательный план с пересчитанными границами.
- Бренд: в D2C подглядывание самое частое из-за дашбордов реального времени; Ритейл: в магазинах опасна смена состава групп в ходе теста и пересечение акций. Условия остановки и защитные метрики записывают до запуска.
Бренд и ритейл: как ставят эксперименты
- Бренд: единица рандомизации бренда: посетитель или клиент в D2C, партнёр или регион в опте; в опте число единиц мало, поэтому используют парные сравнения и разности разностей, а выводы формулируют осторожно.
- Ритейл: единица рандомизации ритейлера: посетитель онлайн или магазин; для магазинов подбирают пары по размеру, региону и тренду, а затем случайно распределяют тест и контроль внутри пар.
- Бренд: типовые тесты бренда: страницы и подсказки размеров в D2C, цены и бандлы, условия предзаказа, рассылки; главная метрика это маржа на посетителя или клиента, а не клики.
- Ритейл: типовые тесты ритейлера: акции и механики скидок, выкладка и планограмма, ценовые пороги, форматы чеков и доставка; главная метрика это маржа категории или магазина с учётом каннибализации.
- Бренд: риск бренда это перетоки между каналами: тест акции в D2C сдвигает продажи партнёров; поэтому защитная метрика включает sell-out партнёров или суммарные продажи бренда.
- Ритейл: риск ритейлера это перетоки между магазинами и каннибализация внутри категории: тест на группе магазинов оценивают по продажам категории, а не только акционного товара.
- Бренд: срок теста бренда задают цикл покупки и трафик D2C: при малом трафике срок растёт, и тест становится рискованным по сезонным изменениям; допустим гео-тест на маркетплейсе.
- Ритейл: срок теста ритейлера не меньше двух полных недель и покрывает все дни недели; для сезонных позиций тест делают в одном окне с контролем, чтобы календарные эффекты действовали на обе группы.
- Бренд: результат бренд переводит в маржу сезона и в прогноз спроса на линейку: выигрыш в D2C без учёта партнёров может оказаться потерей по бренду в целом.
- Ритейл: результат ритейлер переводит в маржу сети и в правила акций: масштабирование на все магазины проверяют пилотной волной на части сети, чтобы убедиться, что эффект сохраняется.
Откуда берутся данные
| Источник данных | Поля |
|---|---|
| События и заказы | Посетители, сессии, заказы, выручка и маржа по группам теста и дням; идентификатор группы и дата назначения. |
| Магазины и история | Продажи и трафик магазинов за предшествующие 8–12 недель для подбора пар; календарь акций. |
| Протокол эксперимента | Гипотеза, метрика, MDE, α, мощность, срок, правило остановки, защитные метрики, автор и дата. |
Как собрать по шагам
- Шаг 1. Сформулируйте гипотезу и одну главную метрику; запишите, какое значение метрики окупит изменение (MDE в деньгах).
- Бренд: Шаг 2. Выберите единицу рандомизации (посетитель, клиент, партнёр, регион); для опта и маркетплейсов используйте гео-пары и сравнение до/после с контролем.
- Ритейл: Шаг 3. Подберите пары магазинов по размеру, региону и трендам за предыдущие недели и случайно назначьте тест и контроль внутри пар.
- Шаг 4. Посчитайте размер выборки и срок по базовой конверсии, MDE, α и мощности; округлите срок до целых недель.
- Шаг 5. Проведите A/A-проверку: две одинаковые группы не должны показывать разницу чаще α; иначе ошибка в разметке или данных.
- Шаг 6. Запустите тест без изменений состава, не меняйте другие факторы (цены, рассылки) и не подглядывайте до срока.
- Шаг 7. Посчитайте разницу, интервал и p-значение по заранее выбранному критерию; для нескольких вариантов примените поправку (Холм).
- Шаг 8. Проверьте защитные метрики (возвраты, выручка соседних товаров, жалобы) и сегменты, но не ищите «значимый» срез после теста.
- Шаг 9. Переведите эффект в деньги (маржа, а не клики) с интервалом и сравните с расходами на изменение.
- Шаг 10. Зафиксируйте решение и протокол в реестре экспериментов; неудачные результаты тоже сохраняют, чтобы не повторять.
Формулы
| Показатель | Формулы | Пояснение |
|---|---|---|
| Размер выборки на группу (две доли) | n = 2·(z_(1−α/2) + z_(1−β))²·p̄·(1 − p̄) / (p₁ − p₀)², p̄ = (p₀ + p₁)/2 | Для средних: n = 2·σ²·(z_(1−α/2) + z_(1−β))² / δ². |
| Z-статистика двух долей | z = (p_B − p_A) / √( 2·p̂·(1 − p̂)/n ), p̂ = (x_A + x_B)/(2n) | Группы равного размера n; для неравных используйте общую формулу. |
| p-значение | p = 2·(1 − Φ(|z|)) | Двустороннее; одностороннее допустимо только если выбрано заранее. |
| Интервал разницы | (p_B − p_A) ± 1,96·√( p_A(1 − p_A)/n + p_B(1 − p_B)/n ) | Интервал важнее p-значения: показывает размер эффекта. |
| Мощность | 1 − β = Φ( |p₁ − p₀| / √(2·p̄(1 − p̄)/n) − z_(1−α/2) ) | Мощность растёт с n и с размером эффекта. |
| Поправки на множественные сравнения | Бонферрони: α_i = α/m; Холм: сортируем p_(1) ≤ … ≤ p_(m), отклоняем, пока p_(i) ≤ α/(m − i + 1) | Холм никогда не слабее Бонферрони при том же контроле ошибки первого рода. |
| Ложные срабатывания при подглядывании | P(отклонить хотя бы раз) = 1 − P( |Z_k| ≤ z_(1−α/2) для всех k = 1..K ) > α | Z_k статистика на k-й проверке; значения оценивают моделированием или считают по плану последовательных границ. |
Формулы в записи
- Размер выборки
n = 2·(z_{1−α/2} + z_{1−β})² · p̄(1 − p̄) / (p₁ − p₀)²
На группу; p̄ среднее двух долей.- Z-статистика
z = (p_B − p_A) / √[ 2·p̂(1 − p̂)/n ]
p̂ общая доля.- Поправка Холма
reject H_(i) while p_(i) ≤ α / (m − i + 1)
p_(i) упорядоченные p-значения.- MDE при выборке n
δ_MDE = (z_{1−α/2} + z_{1−β}) · √[ 2·p₀(1 − p₀)/n ]
Минимальный абсолютный эффект, различимый при выборке n на группу.
Пример с числами
Число посетителей на группу при разном минимальном эффекте (α = 5 %, мощность 80 %)
| MDE (относительно) | Целевая конверсия, % | Посетителей на группу | Недель при 18 400 в неделю |
|---|---|---|---|
| +5 % | 9,45 | 64 915 | 7,1 |
| +10 % | 9,9 | 16 583 | 1,8 |
| +15 % | 10,35 | 7 527 | 0,8 |
| +20 % | 10,8 | 4 322 | 0,5 |
Базовая конверсия 9 %. Тест с MDE +10 % за две недели набирает нужную выборку; тест с MDE +5 % требует около 7 недель. Наблюдённый пример (17 000 на группу, +10 %) даёт p = 0,0046; при пяти параллельных вариантах и p = 0,003; 0,012; 0,021; 0,04; 0,3 Холм отклоняет два. Подглядывание 5 раз даёт 14,2 % ложных успехов (точный расчёт). Цифры считаются кодом, зерно фиксировано.
Рисунки
- Мощность, %
- Целевая 80 %
Данные таблицей
| Показатель | Мощность, % | Целевая 80 % |
|---|---|---|
| 2 000 | 16,2 | 80 |
| 4 000 | 28 | 80 |
| 8 000 | 49,4 | 80 |
| 12 000 | 66,4 | 80 |
| 16 584 | 80 | 80 |
| 20 000 | 86,8 | 80 |
| 30 000 | 96,5 | 80 |
| 40 000 | 99,2 | 80 |
Мощность теста и размер выборки на группу. Мощность 80 % достигается около 16,6 тыс. посетителей на группу для MDE +10 %; при 8 тыс. она ниже 50 %. По оси: посетителей на группу.
Данные таблицей
| Показатель | MDE, % относительно |
|---|---|
| 1 | 13,1 |
| 2 | 9,3 |
| 3 | 7,6 |
| 4 | 6,6 |
| 6 | 5,4 |
| 8 | 4,6 |
Какой эффект виден за сколько недель. За одну неделю виден лишь эффект порядка +13 %, за две около +9 %: короткий тест не различает малые улучшения. По оси: недель теста при 18 400 посетителей в неделю.
- Доля ложных успехов, %
- Номинальный α, %
Данные таблицей
| Показатель | Доля ложных успехов, % | Номинальный α, % |
|---|---|---|
| 1 | 5 | 5 |
| 2 | 8,3 | 5 |
| 3 | 10,7 | 5 |
| 5 | 14,2 | 5 |
| 10 | 19,3 | 5 |
| 20 | 24,8 | 5 |
Ложные срабатывания при подглядывании. При одной проверке 5 %, с каждой дополнительной растёт: на 20 проверках теста без эффекта «победа» объявляется примерно в четверти случаев (24,8 %). По оси: число равноотстоящих проверок за время теста; значения рассчитаны численным интегрированием (не моделированием), нормальное приближение статистики.
- p-значение
- Порог Холма
- Порог Бонферрони
Данные таблицей
| Показатель | p-значение | Порог Холма | Порог Бонферрони |
|---|---|---|---|
| H1 | 0,003 | 0,01 | 0,01 |
| H2 | 0,012 | 0,013 | 0,01 |
| H3 | 0,021 | 0,017 | 0,01 |
| H4 | 0,04 | 0,025 | 0,01 |
| H5 | 0,3 | 0,05 | 0,01 |
Пять p-значений и пороги поправок. p-значение 0,012 проходит порог Холма (0,0125) и не проходит порог Бонферрони (0,01).
Особенности по категориям
- Одежда
- Сезон и погода меняют конверсию внутри теста: тест и контроль идут одновременно, а не «до и после»; для акций на сезонные позиции тест короткий, а срок согласуют с жизненным циклом.
- Обувь
- Конверсия ниже, значит выборка больше; эффект цены смешан с наличием размеров, поэтому проверяйте доступность размеров в группах и защитную метрику возвратов.
- Аксессуары
- Низкий чек и высокая частота дают быструю выборку, но подарочные пики искажают тест: избегайте периода праздников и не сравнивайте недели пика с обычными.
- Детское
- Покупки привязаны к возрасту и школе; рандомизацию делают по клиенту, а не по заказу, иначе один родитель попадает в обе группы; пик конца августа короткий.
- Мужское
- Конверсия и чек стабильнее, поэтому нужная выборка меньше при том же относительном эффекте; повторные покупки велики, и эффект теста измеряют и по возврату клиентов.
- Женское
- Больше акций и вариантов, поэтому риск множественных сравнений выше: заранее ограничьте число вариантов и применяйте поправку; перетоки между моделями (каннибализация) нужно измерять по категории.
Типичные ошибки
- Запускают тест без расчёта выборки → не хватает мощности, эффект не виден → считайте n и срок до запуска.
- Подглядывают и останавливают при первом p < 0,05 → ложные успехи вырастают в разы → одна проверка или последовательный план.
- Сравнивают пять вариантов без поправки → один «выигрыш» случаен → поправка Холма или Бонферрони.
- Ищут «значимый» срез после теста → найдут случайный → сегменты задают заранее, остальное гипотезы для следующего теста.
- Принимают p-значение за вероятность эффекта и не смотрят на интервал → внедряют малый эффект → решение по нижней границе интервала в деньгах.
Особенности России
- Тесты акций и цен на клиентах нельзя ставить так, чтобы покупатели одного и того же товара видели разные цены без объяснения; на ценнике и в рекламе цена и условия акции указываются корректно, а реклама промо подчиняется закону о рекламе. Норма: закон 38-ФЗ от 13.03.2006: Закон от 13.03.2006 № 38-ФЗ «О рекламе» (проверка нормы не завершена).
- Тест, при котором часть клиентов получает другие условия по сравнению с публичной офертой, согласуется с юристом: условия розничной продажи и права потребителей нельзя ухудшать в рамках теста. Норма: закон 2300-1 от 07.02.1992: Закон от 07.02.1992 № 2300-1 «О защите прав потребителей» (проверка нормы не завершена).
- Данные пользователей в тестах обрабатываются по согласию и обезличенно; идентификаторы групп хранятся отдельно от персональных данных. Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных» (проверка нормы не завершена).