Syntha Lab EN

A/B-тест по долям: размер выборки, длительность и чтение результата

В режиме «План» считает, сколько посетителей нужно на каждую группу и сколько дней идти тесту, чтобы заметить заданный рост конверсии с нужной мощностью; в режиме «Результат» проверяет значимость различия, показывает доверительный интервал разницы и наименьшую заметную разницу.

Маркетинговый бюджет и проверка эффекта Для кого: Владельцам онлайн-канала, продуктовым и маркетинговым менеджерам перед тестом и при чтении его результата.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Сколько посетителей и дней нужно, чтобы заметить рост конверсии, и можно ли верить различию, которое показал тест.
Какие данные нужны?
Базовая конверсия и наименьший рост, который хотите заметить.
Как читать результат?
Пример на значениях по умолчанию: чтобы заметить рост конверсии с 3 % до 3,3 % при мощности 80 % и значимости 5 %, нужно 53 211 посетителей на группу, всего 106 422, при трафике 4 000 в день это 27 дн.; вдвое меньший рост требует 207 938 на группу.

Зачем и как рассуждать

A/B-тест сравнивает две версии и отвечает, настоящая ли разница или случайность. Чтобы не вводить себя в заблуждение, до теста решают три вещи: насколько маленькую разницу вы хотите заметить, как часто готовы ошибиться в сторону «разница есть» (уровень значимости 5 %) и как часто готовы пропустить настоящую разницу (мощность 80 %). Чем меньше разница, тем больше нужно людей. Для базовой конверсии 3 % и роста на 10 % (до 3,3 %) нужно 53 211 человек на группу, а всего 106 422. При трафике 4 000 в день тест идёт 27 дней, почти четыре недели. Если искать рост вдвое меньше (5 %), нужно 207 938 человек, вчетверо больше. Если вдвое больше (20 %), всего 13 914. В режиме «Результат» расчёт проверяет, значима ли разница ваших групп, и показывает доверительный интервал.

Когда применять

Подходит перед запуском теста на сайте или в рассылке, чтобы понять, стоит ли он затрат по времени, и после теста для честного чтения результата. Не применяйте, если трафик слишком мал для заметной разницы или тест нельзя довести до плана: лучше выбрать более смелое изменение. Допущения: группы независимы, посетители случайно распределены, тест идёт полными неделями.

Как читать результат

В режиме «План» смотрите на длительность: если тест идёт дольше двух месяцев, пересмотрите гипотезу, поднимите минимальный заметный рост или соберите больше трафика. Не останавливайте тест досрочно при первой значимости: это поднимает риск ложной победы. В режиме «Результат» читайте интервал разницы, а не только p-значение: если интервал включает ноль, разницы не доказано, а если лежит выше нуля, но широк, эффект может быть как мелким, так и большим. Принимайте решение по размеру эффекта в деньгах, а не только по значимости. Заранее запишите, что вы сделаете при каждом исходе: победа, ничья, проигрыш. Тогда результат не станет предметом спора.

Типичные ошибки

Чаще всего ошибаются так: подглядывать в результат и останавливать тест раньше срока, менять гипотезу в ходе теста, запускать тест на смену сезона, сравнивать группы разной длительности, считать значимость доказательством важности. Заранее запишите план: метрику, срок и размер выборки. Не запускайте несколько тестов на одних и тех же посетителях: эффекты смешиваются, и значимость теряет смысл.

Какие данные нужны?

  • Базовая конверсия и наименьший рост, который хотите заметить.
  • Трафик на тест в день.
  • После теста: посетители и целевые действия каждой группы.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Что считаемПлан: сколько нужно посетителейСначала план до запуска, потом чтение результата после набора выборки. Подглядывать и останавливать тест раньше нельзя: ложных побед станет больше.
Уровень значимости (двусторонний)5 %Допустимая вероятность ложной победы. Выбор ваш; при нескольких проверках сразу берите строже.
Сколько вариантов сравниваете с контролемшт.11: один вариант B, как раньше. Если вариантов несколько (B, C, D), уровень значимости на одно сравнение делится на их число (поправка Бонферрони): ложных побед меньше, выборка больше.
Сколько раз смотрели результат до конца тестараз11: смотрели один раз по плану, как раньше. Больше: каждый просмотр с решением «остановить, если значимо» повышает вероятность ложной победы выше выбранного уровня; расчёт покажет оценку.
Что считать успехом (режим «Результат»)КонверсияДля теста цены конверсия может упасть, а прибыль вырасти: тогда смотрите прибыль на посетителя. Маржу с заказа задайте ниже; её разброс между заказами не учитывается.
Маржа с заказа в группе A₽1 500Для режима «прибыль на посетителя». Без НДС, после себестоимости и скидок.
Маржа с заказа в группе B₽1 650Для режима «прибыль на посетителя»: при новой цене маржа заказа другая. Без НДС.
Базовая конверсия%3Доля посетителей, совершающих целевое действие сейчас: заказ, добавление в корзину. Для обуви и детского конверсия по размерам ниже: берите свою. Значение примера условное.
Наименьший рост, который хотите заметить% относительно10Относительный рост конверсии: 10 % от 3 % это 3,3 %. Чем меньше рост, тем больше выборка.
Мощность теста80 %Вероятность заметить рост, если он есть. Выбор ваш.
Трафик на тест в деньпосетителей4 000Сколько посетителей в сутки попадёт в оба варианта вместе. Для срока теста; можно оставить пустым.
Посетителей в группе Aчел.20 000Сколько посетителей в группе A (контрольный вариант, текущая страница) за время теста; в режиме чтения.
Целевых действий в группе Aшт.600Не больше числа посетителей.
Посетителей в группе Bчел.20 000Сколько посетителей в группе B (новый вариант) за время теста; в режиме чтения.
Целевых действий в группе Bшт.680Не больше числа посетителей.

Как считается

ШагФормула
Конверсия Bp2 = p1 × (1 + рост)
Выборка на группу(z(α/2) × √(2 × p̄ × (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2)))² ÷ (p2 − p1)²
Дней2 × выборка ÷ трафик в день

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Конверсия B для проверки
3,3 % · +0,3 п. п.
Посетителей на каждую группу
53 211
Всего посетителей на тест
106 422
Дней теста
27 дн.Округлите до целых недель.
Недель теста
4 нед.
Выборка при росте вдвое меньше
207 938 на группуВыборка растёт примерно в четыре раза.
Выборка при росте вдвое больше
13 914 на группу
Выборка на группу по росту конверсии
Линейный график: Посетителей на группу: 208 тыс. → 6 455050 тыс.100 тыс.150 тыс.200 тыс.250 тыс.51015202530Посетителей на группу, 5: 208 тыс.Посетителей на группу, 10: 53,2 тыс.Посетителей на группу, 15: 24,2 тыс.Посетителей на группу, 20: 13,9 тыс.Посетителей на группу, 30: 6 455чел.Рост конверсии, %
Данные таблицей
Рост конверсии, %Посетителей на группу
5208 тыс.
1053,2 тыс.
1524,2 тыс.
2013,9 тыс.
306 455

Выборка при разном росте

Рост, %Конверсия BНа группуВсегоДней
53,15 %207 938415 876104
103,3 %53 211106 42227
153,45 %24 19348 38613
203,6 %13 91427 8287
303,9 %6 45512 9104

Размер выборки задаёт мощность: чем меньше рост, который хотите заметить, тем длиннее тест. Если трафика мало, проверяйте крупные изменения, а не мелкие правки.

Длительность округляйте до целых недель и обходите акции и распродажи. Для сезонных категорий обуви и детского спрос меняется по неделям: тест на одной неделе показывает не всё.

Нюансы и ограничения

  • Останавливать тест, когда впервые появилась значимость: ложных побед становится много.
  • Считать «незначимо» доказательством отсутствия эффекта: возможно, выборка мала.
  • Запускать тест в акцию или на неполную неделю.

Термины расчёта

Посчитать на своих данных →