p-значение
Вероятность увидеть такую или большую разницу между вариантами, если на самом деле эффекта нет.
Формула
p = 2 × (1 − Φ(|z|))
Как читать
Малое p не доказывает размер эффекта и не говорит, что вариант B лучше на столько-то: смотрите доверительный интервал. Много проверок подряд увеличивают долю ложных побед.
Где об этом говорится
Темы
Расчёты
- Погодная поправка спроса
- NPS: доверительный интервал и значимость изменения
- A/B-тест по долям: размер выборки, длительность и чтение результата
- Множественная регрессия: вклад цены, скидки и трафика в продажи
- Байесовская оценка доли: выкуп или конверсия новой модели по малой выборке
- Ценовой тест: прибыль на посетителя и значимость
Документы
- Байесовские оценки конверсии и выкупа: малые выборки, априорные распределения, сжатие к среднему и сравнение с частотным подходом
- Измерение маркетинга: атрибуция по путям, перенос рекламы, оптимум бюджета, ценовой тест, NPS и реферальная награда