Байесовская оценка доли: выкуп или конверсия новой модели по малой выборке
Соединяет вашу начальную оценку доли (по категории или прошлым моделям) с малым числом наблюдений: показывает апостериорную долю, интервал, вероятность превысить цель, вес данных против начальной оценки, сравнение с обычным интервалом Уилсона и ожидаемый диапазон успехов в следующих испытаниях.
Коротко
- Какой вопрос решает расчёт?
- Какова доля выкупа или конверсии, если данных мало, и с какой вероятностью она выше плановой.
- Какие данные нужны?
- Начальная доля и её сила: по категории или прошлым моделям.
- Как читать результат?
- Пример на значениях по умолчанию (начальная доля 70 % с силой 30, выкуплено 24 из 40): в данных 60 %, апостериорная доля 64,3 %, интервал от 52,8 до 75 %. Вероятность выше цели 65 % равна 46 %. Из 100 новых заказов ожидаемо 64. Пример на значениях по умолчанию: Доля в данных: 60 %; Апостериорная доля (среднее): 64,3 %; Апостериорная доля (медиана): 64,4 %; Интервал: нижняя граница: 52,8 %. Цифры условные: введите свои, чтобы увидеть свой результат.
Зачем и как рассуждать
Новую модель выпустили, продали 40 штук, выкупили 24, то есть 60 %. Можно ли верить этим 60 %? На малой выборке они легко колеблются: два-три заказа в одну или другую сторону сдвигают цифру на несколько пунктов. Но у вас есть и прежнее знание: категория обычно выкупается на 70 %. Байесовский подход соединяет оба источника. Прежнее знание записывают как условное число наблюдений: 70 % с силой 30 это как 21 успех и 9 неудач (Beta(21, 9)). Данные добавляют 24 успеха и 16 неудач: Beta(45, 25). Среднее 45 ÷ 70 = 64,3 %. Вес данных 40 ÷ 70 = 57 %: чем больше данных, тем меньше вес прежнего знания. Интервал 52,8–75,0 % уже, чем интервал Уилсона без прежнего знания (44,6–73,7 %). Вероятность, что доля выше цели 65 %, 46 %.
Когда применять
Применяйте для новых моделей, каналов и тестов с малой выборкой, когда есть обоснованное прежнее знание (категория, прошлые модели). Не применяйте, если прежнее знание сомнительно или модель принципиально новая: сильное, но неверное прежнее знание даёт ложную уверенность. Допущения: наблюдения независимы, доля постоянна, начальная оценка и сила задаются вами, сила не превышает опыта похожих моделей.
Как читать результат
Смотрите на вес данных и на сравнение интервалов. Вес 57 % значит, что данные и прежнее знание вносят сравнимый вклад: если вам это кажется неправильным, измените силу прежнего знания. Интервал уже, чем у Уилсона, но это следствие допущения, а не магии. Вероятность выше цели (46 %) отвечает на вопрос «стоит ли ждать ещё данных»: около половины значит, что решать рано. Диапазон успехов в следующих 100 испытаниях (52–76) помогает планировать закупку. Решение: если вероятность цели ниже 30 % или выше 80 %, можно действовать, иначе собирайте данные.
Типичные ошибки
Брать силу прежнего знания равной объёму данных «чтобы уверенно», использовать прежнюю долю от другой категории, считать независимыми заказы одного клиента, останавливаться по первой вероятности выше 90 %. Всегда показывайте и интервал без прежнего знания, чтобы читатель видел разницу. Не меняйте начальную оценку после того, как увидели данные: это превращает метод в подгонку.
Какие данные нужны?
- Начальная доля и её сила: по категории или прошлым моделям.
- Испытания и успехи.
- Целевая доля и число будущих испытаний.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Начальная доля | % | 70 | Во что вы верили до данных: средняя доля по категории или прошлым моделям. Значение примера условное. |
| Сила начальной оценки | наблюдений | 30 | Сколько наблюдений стоит ваша вера. Чем больше, тем медленнее данные её меняют. Вес данных считается из этого числа и числа испытаний. Значение примера условное. |
| Испытаний | штук | 40 | Сколько заказов, показов или визитов уже было. Значение примера условное. |
| Успехов | штук | 24 | Сколько из них выкуплено или купило. Не больше числа испытаний. |
| Цель | % | 65 | Доля, выше которой модель считается успешной (например, плановый выкуп). Ваш порог. |
| Будущих испытаний | штук | 100 | Для прогноза числа успехов, например заказов следующей партии. Не больше 10 000. |
| Уровень интервала | 95 % | Вероятность, с которой доля лежит внутри интервала. Выше уровень: шире интервал. |
Как считается
| Шаг | Формула |
|---|---|
| Начальное | Beta(a0, b0): a0 = доля × сила, b0 = (1 − доля) × сила |
| После данных | Beta(a0 + успехи, b0 + испытания − успехи) |
| Среднее | a ÷ (a + b) |
| Интервал | квантили бета-распределения на уровнях (1 − уровень) ÷ 2 и 1 − (1 − уровень) ÷ 2 |
| Выше цели | 1 − I_цель(a, b), I неполная бета-функция |
| Прогноз | бета-биномиальное: P(k) = C(m, k) × B(k + a, m − k + b) ÷ B(a, b) |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Доля в данных
- 60 %Успехи ÷ испытания: без начальной оценки.
- Апостериорная доля (среднее)
- 64,3 %Данные, сдвинутые к начальной оценке тем сильнее, чем меньше испытаний.
- Апостериорная доля (медиана)
- 64,4 %
- Интервал: нижняя граница
- 52,8 %
- Интервал: верхняя граница
- 75 %
- Ширина интервала, п. п.
- 22,2
- Интервал Уилсона без начальной оценки: нижняя граница
- 44,6 %
- Интервал Уилсона без начальной оценки: верхняя граница
- 73,7 %
- Вероятность, что доля выше цели 65 %
- 46 %
- Вес данных против начальной оценки
- 57,1 %Испытания ÷ (испытания + сила начальной оценки).
- Ожидаемо успехов из 100 новых
- 64
- Диапазон успехов 90 %: нижняя граница
- 52
- Диапазон успехов 90 %: верхняя граница
- 76
- До данных
- После данных
Данные таблицей
| Доля, % | До данных | После данных |
|---|---|---|
| 1 | 0 | 0 |
| 2 | 0 | 0 |
| 3 | 0 | 0 |
| 4 | 0 | 0 |
| 5 | 0 | 0 |
| 6 | 0 | 0 |
| 7 | 0 | 0 |
| 8 | 0 | 0 |
| 9 | 0 | 0 |
| 10 | 0 | 0 |
| 11 | 0 | 0 |
| 12 | 0 | 0 |
| 13 | 0 | 0 |
| 14 | 0 | 0 |
| 15 | 0 | 0 |
| 16 | 0 | 0 |
| 17 | 0 | 0 |
| 18 | 0 | 0 |
| 19 | 0 | 0 |
| 20 | 0 | 0 |
| 21 | 0 | 0 |
| 22 | 0 | 0 |
| 23 | 0 | 0 |
| 24 | 0 | 0 |
| 25 | 0 | 0 |
| 26 | 0 | 0 |
| 27 | 0 | 0 |
| 28 | 0 | 0 |
| 29 | 0 | 0 |
| 30 | 0 | 0 |
| 31 | 0 | 0 |
| 32 | 0 | 0 |
| 33 | 0 | 0 |
| 34 | 0 | 0 |
| 35 | 0 | 0 |
| 36 | 0 | 0 |
| 37 | 0 | 0 |
| 38 | 0 | 0 |
| 39 | 0 | 0 |
| 40 | 0 | 0 |
| 41 | 0 | 0 |
| 42 | 0 | 0 |
| 43 | 0,001 | 0 |
| 44 | 0,001 | 0 |
| 45 | 0,001 | 0 |
| 46 | 0,001 | 0,001 |
| 47 | 0,002 | 0,001 |
| 48 | 0,002 | 0,002 |
| 49 | 0,003 | 0,002 |
| 50 | 0,003 | 0,004 |
| 51 | 0,004 | 0,005 |
| 52 | 0,005 | 0,007 |
| 53 | 0,007 | 0,01 |
| 54 | 0,008 | 0,014 |
| 55 | 0,01 | 0,019 |
| 56 | 0,012 | 0,024 |
| 57 | 0,014 | 0,03 |
| 58 | 0,016 | 0,037 |
| 59 | 0,019 | 0,044 |
| 60 | 0,022 | 0,051 |
| 61 | 0,025 | 0,057 |
| 62 | 0,028 | 0,063 |
| 63 | 0,031 | 0,067 |
| 64 | 0,034 | 0,069 |
| 65 | 0,037 | 0,07 |
| 66 | 0,04 | 0,068 |
| 67 | 0,042 | 0,064 |
| 68 | 0,044 | 0,059 |
| 69 | 0,046 | 0,052 |
| 70 | 0,047 | 0,045 |
| 71 | 0,048 | 0,037 |
| 72 | 0,048 | 0,03 |
| 73 | 0,047 | 0,023 |
| 74 | 0,046 | 0,017 |
| 75 | 0,044 | 0,012 |
| 76 | 0,041 | 0,008 |
| 77 | 0,038 | 0,005 |
| 78 | 0,034 | 0,003 |
| 79 | 0,031 | 0,002 |
| 80 | 0,027 | 0,001 |
| 81 | 0,023 | 0,001 |
| 82 | 0,019 | 0 |
| 83 | 0,015 | 0 |
| 84 | 0,012 | 0 |
| 85 | 0,009 | 0 |
| 86 | 0,007 | 0 |
| 87 | 0,005 | 0 |
| 88 | 0,003 | 0 |
| 89 | 0,002 | 0 |
| 90 | 0,001 | 0 |
| 91 | 0,001 | 0 |
| 92 | 0 | 0 |
| 93 | 0 | 0 |
| 94 | 0 | 0 |
| 95 | 0 | 0 |
| 96 | 0 | 0 |
| 97 | 0 | 0 |
| 98 | 0 | 0 |
| 99 | 0 | 0 |
Начальное и апостериорное распределение
| Распределение | a | b | Среднее, % |
|---|---|---|---|
| До данных | 21 | 9 | 70 |
| После данных | 45 | 25 | 64,3 |
Данные дают 60 %, начальная оценка 70 %, итог 64,3 %: данные весят 57 %. Вероятность выше цели 46 %.
Результат настолько хорош, насколько честна начальная оценка: слишком уверенная (большая сила) заглушит данные, слишком слабая даст широкий интервал. Подглядывание в данные и остановка при удобном результате искажают вероятность. Для обуви, аксессуаров и детского начальная доля своя.
Нюансы и ограничения
- Задавать начальную оценку с огромной силой: данные уже ничего не изменят.
- Останавливать сбор данных, когда результат нравится: вероятность искажается.
- Путать вероятность выше цели с долей, которую «точно» получите.