Syntha Lab EN

A/B-тесты для акций и промо: гипотеза, выборка, мощность, p-значение, подглядывание

Как честно проверить, что акция, цена или изменение сайта работают: сформулировать гипотезу, посчитать размер выборки и срок, оценить результат p-значением и интервалом, не обмануться множественными сравнениями и подглядыванием. По итогу решают, внедрять изменение или нет и с какой уверенностью, а когда тест надо продолжить.

Математика и аналитика Бренд и ритейл Проверено: 2026-11-13

Открыть интерактивно →

Зачем этот документ

Документ читают руководитель e-commerce, маркетинга и аналитик перед тем, как раскатывать акцию, цену или новый экран на всех. Нужен он потому, что разница в конверсии между двумя группами часто чистый шум, и без расчёта выборки тест либо ничего не показывает, либо даёт ложный успех. Подглядывание в результаты и десяток сравнений сразу сильно увеличивают шанс увидеть эффект там, где его нет. Заранее посчитанная выборка, срок и минимальный заметный эффект защищают от решения, которое стоит денег.

Коротко

Что это за документ и зачем он нужен?
Как честно проверить, что акция, цена или изменение сайта работают: сформулировать гипотезу, посчитать размер выборки и срок, оценить результат p-значением и интервалом, не обмануться множественными сравнениями и подглядыванием. По итогу решают, внедрять изменение или нет и с какой уверенностью, а когда тест надо продолжить.
Кто отвечает за документ и как часто его пересчитывать?
Аналитик эксперимента вместе с владельцем гипотезы (маркетинг, e-commerce, категорийный менеджер); дизайн теста утверждается до запуска, результат фиксируется протоколом; финансист получает оценку эффекта в деньгах.
Какие ошибки встречаются чаще всего?
Запускают тест без расчёта выборки → не хватает мощности, эффект не виден → считайте n и срок до запуска. Подглядывают и останавливают при первом p < 0,05 → ложные успехи вырастают в разы → одна проверка или последовательный план. Сравнивают пять вариантов без поправки → один «выигрыш» случаен → поправка Холма или Бонферрони.

Для кого

Бренд
Бренд проверяет изменения в собственных каналах: страницы, рассылки, цены, акции D2C; в опте и на маркетплейсах контроль ограничен, поэтому используют гео-тесты и до/после с контрольной группой. Эффект переводят в маржу, а не в клики.
Ритейл
Ритейлер проверяет акции и выкладку на группах магазинов (тест и контроль с похожей историей) и онлайн на части трафика; выбирают пары магазинов, сопоставимых по размеру, региону и динамике, иначе различие групп съедает эффект.

Из чего состоит

Гипотеза и метрика

  • Нулевая гипотеза H₀: эффекта нет; альтернатива H₁: эффект есть. Главная метрика одна (конверсия, маржа на посетителя, средний чек), заранее; побочные метрики (возвраты, выручка соседних товаров) защитные и в решении не участвуют, пока не нарушены.
  • Минимально значимый эффект (MDE) задаётся деньгами: наименьшее улучшение, которое окупит изменение и усилия. Тест, неспособный обнаружить MDE, не запускают.

Размер выборки, мощность и срок

  • Для двух долей n на группу = 2·(z_(α/2) + z_β)²·p̄(1 − p̄)/δ². При базовой конверсии 9 %, α = 5 %, мощности 80 % и MDE +10 % относительно (9 → 9,9 %) нужно 16 583 посетителей на группу; для MDE +5 % уже 64 915, для +20 % 4 322. Размер растёт как 1/δ²: вдвое меньший эффект требует вчетверо большей выборки.
  • При трафике 18 400 посетителей в неделю на сайт (поровну на две группы) нужная выборка набирается за 1,8 недели, а срок округляют до целых недель (две), чтобы охватить все дни недели. Мощность 80 % достигается на 16 584 посетителях на группу, на 8 000 она всего 49 %.

Результат: p-значение и интервал

  • Пример: контроль 1 530 покупок из 17 000 (9 %), вариант 1 683 из 17 000 (9,9 %). Z = 2,84, p = 0,0046; интервал разницы 0,28…1,52 п. п. p-значение это вероятность увидеть такую или большую разницу при отсутствии эффекта, а не вероятность того, что гипотеза верна.
  • Решение принимают по интервалу и деньгам: нижняя граница интервала, переведённая в маржу, должна окупать изменение; «значимо, но мало» не повод внедрять.

Множественные сравнения и подглядывание

  • Пять вариантов против контроля при α = 5 % дают вероятность хотя бы одного ложного успеха 22,6 %. Поправка Бонферрони (α/m = 1 %) отклоняет 1 из 5 гипотез при p = 0,003; 0,012; 0,021; 0,04; 0,3, поправка Холма (ступенчатая) отклоняет 2: Холм мощнее при том же контроле ошибок.
  • Подглядывание (остановка при первом p < 0,05) раздувает ложные срабатывания: при пяти равноотстоящих проверках на тесте без эффекта они случаются в 14,2 % случаев вместо 5 %, при десяти 19,3 %, при двадцати 24,8 % (точный расчёт численным интегрированием). Либо одна проверка в заранее назначенный день, либо последовательный план с пересчитанными границами.
  • Бренд: в D2C подглядывание самое частое из-за дашбордов реального времени; Ритейл: в магазинах опасна смена состава групп в ходе теста и пересечение акций. Условия остановки и защитные метрики записывают до запуска.

Бренд и ритейл: как ставят эксперименты

  • Бренд: единица рандомизации бренда: посетитель или клиент в D2C, партнёр или регион в опте; в опте число единиц мало, поэтому используют парные сравнения и разности разностей, а выводы формулируют осторожно.
  • Ритейл: единица рандомизации ритейлера: посетитель онлайн или магазин; для магазинов подбирают пары по размеру, региону и тренду, а затем случайно распределяют тест и контроль внутри пар.
  • Бренд: типовые тесты бренда: страницы и подсказки размеров в D2C, цены и бандлы, условия предзаказа, рассылки; главная метрика это маржа на посетителя или клиента, а не клики.
  • Ритейл: типовые тесты ритейлера: акции и механики скидок, выкладка и планограмма, ценовые пороги, форматы чеков и доставка; главная метрика это маржа категории или магазина с учётом каннибализации.
  • Бренд: риск бренда это перетоки между каналами: тест акции в D2C сдвигает продажи партнёров; поэтому защитная метрика включает sell-out партнёров или суммарные продажи бренда.
  • Ритейл: риск ритейлера это перетоки между магазинами и каннибализация внутри категории: тест на группе магазинов оценивают по продажам категории, а не только акционного товара.
  • Бренд: срок теста бренда задают цикл покупки и трафик D2C: при малом трафике срок растёт, и тест становится рискованным по сезонным изменениям; допустим гео-тест на маркетплейсе.
  • Ритейл: срок теста ритейлера не меньше двух полных недель и покрывает все дни недели; для сезонных позиций тест делают в одном окне с контролем, чтобы календарные эффекты действовали на обе группы.
  • Бренд: результат бренд переводит в маржу сезона и в прогноз спроса на линейку: выигрыш в D2C без учёта партнёров может оказаться потерей по бренду в целом.
  • Ритейл: результат ритейлер переводит в маржу сети и в правила акций: масштабирование на все магазины проверяют пилотной волной на части сети, чтобы убедиться, что эффект сохраняется.

Откуда берутся данные

Источник данныхПоля
События и заказыПосетители, сессии, заказы, выручка и маржа по группам теста и дням; идентификатор группы и дата назначения.
Магазины и историяПродажи и трафик магазинов за предшествующие 8–12 недель для подбора пар; календарь акций.
Протокол экспериментаГипотеза, метрика, MDE, α, мощность, срок, правило остановки, защитные метрики, автор и дата.

Как собрать по шагам

  1. Шаг 1. Сформулируйте гипотезу и одну главную метрику; запишите, какое значение метрики окупит изменение (MDE в деньгах).
  2. Бренд: Шаг 2. Выберите единицу рандомизации (посетитель, клиент, партнёр, регион); для опта и маркетплейсов используйте гео-пары и сравнение до/после с контролем.
  3. Ритейл: Шаг 3. Подберите пары магазинов по размеру, региону и трендам за предыдущие недели и случайно назначьте тест и контроль внутри пар.
  4. Шаг 4. Посчитайте размер выборки и срок по базовой конверсии, MDE, α и мощности; округлите срок до целых недель.
  5. Шаг 5. Проведите A/A-проверку: две одинаковые группы не должны показывать разницу чаще α; иначе ошибка в разметке или данных.
  6. Шаг 6. Запустите тест без изменений состава, не меняйте другие факторы (цены, рассылки) и не подглядывайте до срока.
  7. Шаг 7. Посчитайте разницу, интервал и p-значение по заранее выбранному критерию; для нескольких вариантов примените поправку (Холм).
  8. Шаг 8. Проверьте защитные метрики (возвраты, выручка соседних товаров, жалобы) и сегменты, но не ищите «значимый» срез после теста.
  9. Шаг 9. Переведите эффект в деньги (маржа, а не клики) с интервалом и сравните с расходами на изменение.
  10. Шаг 10. Зафиксируйте решение и протокол в реестре экспериментов; неудачные результаты тоже сохраняют, чтобы не повторять.

Формулы

ПоказательФормулыПояснение
Размер выборки на группу (две доли)n = 2·(z_(1−α/2) + z_(1−β))²·p̄·(1 − p̄) / (p₁ − p₀)², p̄ = (p₀ + p₁)/2Для средних: n = 2·σ²·(z_(1−α/2) + z_(1−β))² / δ².
Z-статистика двух долейz = (p_B − p_A) / √( 2·p̂·(1 − p̂)/n ), p̂ = (x_A + x_B)/(2n)Группы равного размера n; для неравных используйте общую формулу.
p-значениеp = 2·(1 − Φ(|z|))Двустороннее; одностороннее допустимо только если выбрано заранее.
Интервал разницы(p_B − p_A) ± 1,96·√( p_A(1 − p_A)/n + p_B(1 − p_B)/n )Интервал важнее p-значения: показывает размер эффекта.
Мощность1 − β = Φ( |p₁ − p₀| / √(2·p̄(1 − p̄)/n) − z_(1−α/2) )Мощность растёт с n и с размером эффекта.
Поправки на множественные сравненияБонферрони: α_i = α/m; Холм: сортируем p_(1) ≤ … ≤ p_(m), отклоняем, пока p_(i) ≤ α/(m − i + 1)Холм никогда не слабее Бонферрони при том же контроле ошибки первого рода.
Ложные срабатывания при подглядыванииP(отклонить хотя бы раз) = 1 − P( |Z_k| ≤ z_(1−α/2) для всех k = 1..K ) > αZ_k статистика на k-й проверке; значения оценивают моделированием или считают по плану последовательных границ.

Формулы в записи

Размер выборки
n = 2·(z_{1−α/2} + z_{1−β})² · p̄(1 − p̄) / (p₁ − p₀)²
На группу; p̄ среднее двух долей.
Z-статистика
z = (p_B − p_A) / √[ 2·p̂(1 − p̂)/n ]
p̂ общая доля.
Поправка Холма
reject H_(i) while p_(i) ≤ α / (m − i + 1)
p_(i) упорядоченные p-значения.
MDE при выборке n
δ_MDE = (z_{1−α/2} + z_{1−β}) · √[ 2·p₀(1 − p₀)/n ]
Минимальный абсолютный эффект, различимый при выборке n на группу.

Пример с числами

Число посетителей на группу при разном минимальном эффекте (α = 5 %, мощность 80 %)

MDE (относительно)Целевая конверсия, %Посетителей на группуНедель при 18 400 в неделю
+5 %9,4564 9157,1
+10 %9,916 5831,8
+15 %10,357 5270,8
+20 %10,84 3220,5

Базовая конверсия 9 %. Тест с MDE +10 % за две недели набирает нужную выборку; тест с MDE +5 % требует около 7 недель. Наблюдённый пример (17 000 на группу, +10 %) даёт p = 0,0046; при пяти параллельных вариантах и p = 0,003; 0,012; 0,021; 0,04; 0,3 Холм отклоняет два. Подглядывание 5 раз даёт 14,2 % ложных успехов (точный расчёт). Цифры считаются кодом, зерно фиксировано.

Рисунки

Мощность теста и размер выборки на группу
Линейный график: Мощность, %: 16,2 → 99,2; Целевая 80 %: 80 → 800204060801002 0008 00016 58430 00040 000Мощность, %, 2 000: 16,2Мощность, %, 4 000: 28Мощность, %, 8 000: 49,4Мощность, %, 12 000: 66,4Мощность, %, 16 584: 80Мощность, %, 20 000: 86,8Мощность, %, 30 000: 96,5Мощность, %, 40 000: 99,2Целевая 80 %, 2 000: 80Целевая 80 %, 4 000: 80Целевая 80 %, 8 000: 80Целевая 80 %, 12 000: 80Целевая 80 %, 16 584: 80Целевая 80 %, 20 000: 80Целевая 80 %, 30 000: 80Целевая 80 %, 40 000: 80%
  • Мощность, %
  • Целевая 80 %
Данные таблицей
ПоказательМощность, %Целевая 80 %
2 00016,280
4 0002880
8 00049,480
12 00066,480
16 5848080
20 00086,880
30 00096,580
40 00099,280

Мощность теста и размер выборки на группу. Мощность 80 % достигается около 16,6 тыс. посетителей на группу для MDE +10 %; при 8 тыс. она ниже 50 %. По оси: посетителей на группу.

Какой эффект виден за сколько недель
Столбчатая диаграмма: 1 13,1, 2 9,3, 3 7,6, 4 6,6, 6 5,4, 8 4,605101511MDE, % относительно: 13,113,122MDE, % относительно: 9,39,333MDE, % относительно: 7,67,644MDE, % относительно: 6,66,666MDE, % относительно: 5,45,488MDE, % относительно: 4,64,6%
Данные таблицей
ПоказательMDE, % относительно
113,1
29,3
37,6
46,6
65,4
84,6

Какой эффект виден за сколько недель. За одну неделю виден лишь эффект порядка +13 %, за две около +9 %: короткий тест не различает малые улучшения. По оси: недель теста при 18 400 посетителей в неделю.

Ложные срабатывания при подглядывании
Столбчатая диаграмма: 1 5, 2 8,3, 3 10,7, 5 14,2, 10 19,3, 20 24,8051015202511Доля ложных успехов, %: 55Номинальный α, %: 5522Доля ложных успехов, %: 8,38,3Номинальный α, %: 5533Доля ложных успехов, %: 10,710,7Номинальный α, %: 5555Доля ложных успехов, %: 14,214,2Номинальный α, %: 551010Доля ложных успехов, %: 19,319,3Номинальный α, %: 552020Доля ложных успехов, %: 24,824,8Номинальный α, %: 55%
  • Доля ложных успехов, %
  • Номинальный α, %
Данные таблицей
ПоказательДоля ложных успехов, %Номинальный α, %
155
28,35
310,75
514,25
1019,35
2024,85

Ложные срабатывания при подглядывании. При одной проверке 5 %, с каждой дополнительной растёт: на 20 проверках теста без эффекта «победа» объявляется примерно в четверти случаев (24,8 %). По оси: число равноотстоящих проверок за время теста; значения рассчитаны численным интегрированием (не моделированием), нормальное приближение статистики.

Пять p-значений и пороги поправок
Столбчатая диаграмма: H1 0,003, H2 0,012, H3 0,021, H4 0,04, H5 0,300,10,20,3H1H1p-значение: 0,003Порог Холма: 0,01Порог Бонферрони: 0,01H2H2p-значение: 0,012Порог Холма: 0,013Порог Бонферрони: 0,01H3H3p-значение: 0,021Порог Холма: 0,017Порог Бонферрони: 0,01H4H4p-значение: 0,04Порог Холма: 0,025Порог Бонферрони: 0,01H5H5p-значение: 0,3Порог Холма: 0,05Порог Бонферрони: 0,01уровень значимости
  • p-значение
  • Порог Холма
  • Порог Бонферрони
Данные таблицей
Показательp-значениеПорог ХолмаПорог Бонферрони
H10,0030,010,01
H20,0120,0130,01
H30,0210,0170,01
H40,040,0250,01
H50,30,050,01

Пять p-значений и пороги поправок. p-значение 0,012 проходит порог Холма (0,0125) и не проходит порог Бонферрони (0,01).

Особенности по категориям

Одежда
Сезон и погода меняют конверсию внутри теста: тест и контроль идут одновременно, а не «до и после»; для акций на сезонные позиции тест короткий, а срок согласуют с жизненным циклом.
Обувь
Конверсия ниже, значит выборка больше; эффект цены смешан с наличием размеров, поэтому проверяйте доступность размеров в группах и защитную метрику возвратов.
Аксессуары
Низкий чек и высокая частота дают быструю выборку, но подарочные пики искажают тест: избегайте периода праздников и не сравнивайте недели пика с обычными.
Детское
Покупки привязаны к возрасту и школе; рандомизацию делают по клиенту, а не по заказу, иначе один родитель попадает в обе группы; пик конца августа короткий.
Мужское
Конверсия и чек стабильнее, поэтому нужная выборка меньше при том же относительном эффекте; повторные покупки велики, и эффект теста измеряют и по возврату клиентов.
Женское
Больше акций и вариантов, поэтому риск множественных сравнений выше: заранее ограничьте число вариантов и применяйте поправку; перетоки между моделями (каннибализация) нужно измерять по категории.

Типичные ошибки

  • Запускают тест без расчёта выборки → не хватает мощности, эффект не виден → считайте n и срок до запуска.
  • Подглядывают и останавливают при первом p < 0,05 → ложные успехи вырастают в разы → одна проверка или последовательный план.
  • Сравнивают пять вариантов без поправки → один «выигрыш» случаен → поправка Холма или Бонферрони.
  • Ищут «значимый» срез после теста → найдут случайный → сегменты задают заранее, остальное гипотезы для следующего теста.
  • Принимают p-значение за вероятность эффекта и не смотрят на интервал → внедряют малый эффект → решение по нижней границе интервала в деньгах.

Особенности России

  • Тесты акций и цен на клиентах нельзя ставить так, чтобы покупатели одного и того же товара видели разные цены без объяснения; на ценнике и в рекламе цена и условия акции указываются корректно, а реклама промо подчиняется закону о рекламе. Норма: закон 38-ФЗ от 13.03.2006: Закон от 13.03.2006 № 38-ФЗ «О рекламе» (проверка нормы не завершена).
  • Тест, при котором часть клиентов получает другие условия по сравнению с публичной офертой, согласуется с юристом: условия розничной продажи и права потребителей нельзя ухудшать в рамках теста. Норма: закон 2300-1 от 07.02.1992: Закон от 07.02.1992 № 2300-1 «О защите прав потребителей» (проверка нормы не завершена).
  • Данные пользователей в тестах обрабатываются по согласию и обезличенно; идентификаторы групп хранятся отдельно от персональных данных. Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных» (проверка нормы не завершена).

Открыть интерактивно →