A/B-тест по долям: размер выборки, длительность и чтение результата
В режиме «План» считает, сколько посетителей нужно на каждую группу и сколько дней идти тесту, чтобы заметить заданный рост конверсии с нужной мощностью; в режиме «Результат» проверяет значимость различия, показывает доверительный интервал разницы и наименьшую заметную разницу.
Коротко
- Какой вопрос решает расчёт?
- Сколько посетителей и дней нужно, чтобы заметить рост конверсии, и можно ли верить различию, которое показал тест.
- Какие данные нужны?
- Базовая конверсия и наименьший рост, который хотите заметить.
- Как читать результат?
- Пример на значениях по умолчанию: чтобы заметить рост конверсии с 3 % до 3,3 % при мощности 80 % и значимости 5 %, нужно 53 211 посетителей на группу, всего 106 422, при трафике 4 000 в день это 27 дн.; вдвое меньший рост требует 207 938 на группу.
Зачем и как рассуждать
A/B-тест сравнивает две версии и отвечает, настоящая ли разница или случайность. Чтобы не вводить себя в заблуждение, до теста решают три вещи: насколько маленькую разницу вы хотите заметить, как часто готовы ошибиться в сторону «разница есть» (уровень значимости 5 %) и как часто готовы пропустить настоящую разницу (мощность 80 %). Чем меньше разница, тем больше нужно людей. Для базовой конверсии 3 % и роста на 10 % (до 3,3 %) нужно 53 211 человек на группу, а всего 106 422. При трафике 4 000 в день тест идёт 27 дней, почти четыре недели. Если искать рост вдвое меньше (5 %), нужно 207 938 человек, вчетверо больше. Если вдвое больше (20 %), всего 13 914. В режиме «Результат» расчёт проверяет, значима ли разница ваших групп, и показывает доверительный интервал.
Когда применять
Подходит перед запуском теста на сайте или в рассылке, чтобы понять, стоит ли он затрат по времени, и после теста для честного чтения результата. Не применяйте, если трафик слишком мал для заметной разницы или тест нельзя довести до плана: лучше выбрать более смелое изменение. Допущения: группы независимы, посетители случайно распределены, тест идёт полными неделями.
Как читать результат
В режиме «План» смотрите на длительность: если тест идёт дольше двух месяцев, пересмотрите гипотезу, поднимите минимальный заметный рост или соберите больше трафика. Не останавливайте тест досрочно при первой значимости: это поднимает риск ложной победы. В режиме «Результат» читайте интервал разницы, а не только p-значение: если интервал включает ноль, разницы не доказано, а если лежит выше нуля, но широк, эффект может быть как мелким, так и большим. Принимайте решение по размеру эффекта в деньгах, а не только по значимости. Заранее запишите, что вы сделаете при каждом исходе: победа, ничья, проигрыш. Тогда результат не станет предметом спора.
Типичные ошибки
Чаще всего ошибаются так: подглядывать в результат и останавливать тест раньше срока, менять гипотезу в ходе теста, запускать тест на смену сезона, сравнивать группы разной длительности, считать значимость доказательством важности. Заранее запишите план: метрику, срок и размер выборки. Не запускайте несколько тестов на одних и тех же посетителях: эффекты смешиваются, и значимость теряет смысл.
Какие данные нужны?
- Базовая конверсия и наименьший рост, который хотите заметить.
- Трафик на тест в день.
- После теста: посетители и целевые действия каждой группы.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Что считаем | План: сколько нужно посетителей | Сначала план до запуска, потом чтение результата после набора выборки. Подглядывать и останавливать тест раньше нельзя: ложных побед станет больше. | |
| Уровень значимости (двусторонний) | 5 % | Допустимая вероятность ложной победы. Выбор ваш; при нескольких проверках сразу берите строже. | |
| Сколько вариантов сравниваете с контролем | шт. | 1 | 1: один вариант B, как раньше. Если вариантов несколько (B, C, D), уровень значимости на одно сравнение делится на их число (поправка Бонферрони): ложных побед меньше, выборка больше. |
| Сколько раз смотрели результат до конца теста | раз | 1 | 1: смотрели один раз по плану, как раньше. Больше: каждый просмотр с решением «остановить, если значимо» повышает вероятность ложной победы выше выбранного уровня; расчёт покажет оценку. |
| Что считать успехом (режим «Результат») | Конверсия | Для теста цены конверсия может упасть, а прибыль вырасти: тогда смотрите прибыль на посетителя. Маржу с заказа задайте ниже; её разброс между заказами не учитывается. | |
| Маржа с заказа в группе A | ₽ | 1 500 | Для режима «прибыль на посетителя». Без НДС, после себестоимости и скидок. |
| Маржа с заказа в группе B | ₽ | 1 650 | Для режима «прибыль на посетителя»: при новой цене маржа заказа другая. Без НДС. |
| Базовая конверсия | % | 3 | Доля посетителей, совершающих целевое действие сейчас: заказ, добавление в корзину. Для обуви и детского конверсия по размерам ниже: берите свою. Значение примера условное. |
| Наименьший рост, который хотите заметить | % относительно | 10 | Относительный рост конверсии: 10 % от 3 % это 3,3 %. Чем меньше рост, тем больше выборка. |
| Мощность теста | 80 % | Вероятность заметить рост, если он есть. Выбор ваш. | |
| Трафик на тест в день | посетителей | 4 000 | Сколько посетителей в сутки попадёт в оба варианта вместе. Для срока теста; можно оставить пустым. |
| Посетителей в группе A | чел. | 20 000 | Сколько посетителей в группе A (контрольный вариант, текущая страница) за время теста; в режиме чтения. |
| Целевых действий в группе A | шт. | 600 | Не больше числа посетителей. |
| Посетителей в группе B | чел. | 20 000 | Сколько посетителей в группе B (новый вариант) за время теста; в режиме чтения. |
| Целевых действий в группе B | шт. | 680 | Не больше числа посетителей. |
Как считается
| Шаг | Формула |
|---|---|
| Конверсия B | p2 = p1 × (1 + рост) |
| Выборка на группу | (z(α/2) × √(2 × p̄ × (1 − p̄)) + z(β) × √(p1(1 − p1) + p2(1 − p2)))² ÷ (p2 − p1)² |
| Дней | 2 × выборка ÷ трафик в день |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Конверсия B для проверки
- 3,3 % · +0,3 п. п.
- Посетителей на каждую группу
- 53 211
- Всего посетителей на тест
- 106 422
- Дней теста
- 27 дн.Округлите до целых недель.
- Недель теста
- 4 нед.
- Выборка при росте вдвое меньше
- 207 938 на группуВыборка растёт примерно в четыре раза.
- Выборка при росте вдвое больше
- 13 914 на группу
Данные таблицей
| Рост конверсии, % | Посетителей на группу |
|---|---|
| 5 | 208 тыс. |
| 10 | 53,2 тыс. |
| 15 | 24,2 тыс. |
| 20 | 13,9 тыс. |
| 30 | 6 455 |
Выборка при разном росте
| Рост, % | Конверсия B | На группу | Всего | Дней |
|---|---|---|---|---|
| 5 | 3,15 % | 207 938 | 415 876 | 104 |
| 10 | 3,3 % | 53 211 | 106 422 | 27 |
| 15 | 3,45 % | 24 193 | 48 386 | 13 |
| 20 | 3,6 % | 13 914 | 27 828 | 7 |
| 30 | 3,9 % | 6 455 | 12 910 | 4 |
Размер выборки задаёт мощность: чем меньше рост, который хотите заметить, тем длиннее тест. Если трафика мало, проверяйте крупные изменения, а не мелкие правки.
Длительность округляйте до целых недель и обходите акции и распродажи. Для сезонных категорий обуви и детского спрос меняется по неделям: тест на одной неделе показывает не всё.
Нюансы и ограничения
- Останавливать тест, когда впервые появилась значимость: ложных побед становится много.
- Считать «незначимо» доказательством отсутствия эффекта: возможно, выборка мала.
- Запускать тест в акцию или на неполную неделю.