Syntha Lab EN

Байесовская оценка доли: выкуп или конверсия новой модели по малой выборке

Соединяет вашу начальную оценку доли (по категории или прошлым моделям) с малым числом наблюдений: показывает апостериорную долю, интервал, вероятность превысить цель, вес данных против начальной оценки, сравнение с обычным интервалом Уилсона и ожидаемый диапазон успехов в следующих испытаниях.

Маркетинговый бюджет и проверка эффекта Для кого: Категорийным менеджерам и аналитикам при оценке новой модели, нового магазина или канала по малой выборке.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Какова доля выкупа или конверсии, если данных мало, и с какой вероятностью она выше плановой.
Какие данные нужны?
Начальная доля и её сила: по категории или прошлым моделям.
Как читать результат?
Пример на значениях по умолчанию (начальная доля 70 % с силой 30, выкуплено 24 из 40): в данных 60 %, апостериорная доля 64,3 %, интервал от 52,8 до 75 %. Вероятность выше цели 65 % равна 46 %. Из 100 новых заказов ожидаемо 64. Пример на значениях по умолчанию: Доля в данных: 60 %; Апостериорная доля (среднее): 64,3 %; Апостериорная доля (медиана): 64,4 %; Интервал: нижняя граница: 52,8 %. Цифры условные: введите свои, чтобы увидеть свой результат.

Зачем и как рассуждать

Новую модель выпустили, продали 40 штук, выкупили 24, то есть 60 %. Можно ли верить этим 60 %? На малой выборке они легко колеблются: два-три заказа в одну или другую сторону сдвигают цифру на несколько пунктов. Но у вас есть и прежнее знание: категория обычно выкупается на 70 %. Байесовский подход соединяет оба источника. Прежнее знание записывают как условное число наблюдений: 70 % с силой 30 это как 21 успех и 9 неудач (Beta(21, 9)). Данные добавляют 24 успеха и 16 неудач: Beta(45, 25). Среднее 45 ÷ 70 = 64,3 %. Вес данных 40 ÷ 70 = 57 %: чем больше данных, тем меньше вес прежнего знания. Интервал 52,8–75,0 % уже, чем интервал Уилсона без прежнего знания (44,6–73,7 %). Вероятность, что доля выше цели 65 %, 46 %.

Когда применять

Применяйте для новых моделей, каналов и тестов с малой выборкой, когда есть обоснованное прежнее знание (категория, прошлые модели). Не применяйте, если прежнее знание сомнительно или модель принципиально новая: сильное, но неверное прежнее знание даёт ложную уверенность. Допущения: наблюдения независимы, доля постоянна, начальная оценка и сила задаются вами, сила не превышает опыта похожих моделей.

Как читать результат

Смотрите на вес данных и на сравнение интервалов. Вес 57 % значит, что данные и прежнее знание вносят сравнимый вклад: если вам это кажется неправильным, измените силу прежнего знания. Интервал уже, чем у Уилсона, но это следствие допущения, а не магии. Вероятность выше цели (46 %) отвечает на вопрос «стоит ли ждать ещё данных»: около половины значит, что решать рано. Диапазон успехов в следующих 100 испытаниях (52–76) помогает планировать закупку. Решение: если вероятность цели ниже 30 % или выше 80 %, можно действовать, иначе собирайте данные.

Типичные ошибки

Брать силу прежнего знания равной объёму данных «чтобы уверенно», использовать прежнюю долю от другой категории, считать независимыми заказы одного клиента, останавливаться по первой вероятности выше 90 %. Всегда показывайте и интервал без прежнего знания, чтобы читатель видел разницу. Не меняйте начальную оценку после того, как увидели данные: это превращает метод в подгонку.

Какие данные нужны?

  • Начальная доля и её сила: по категории или прошлым моделям.
  • Испытания и успехи.
  • Целевая доля и число будущих испытаний.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Начальная доля%70Во что вы верили до данных: средняя доля по категории или прошлым моделям. Значение примера условное.
Сила начальной оценкинаблюдений30Сколько наблюдений стоит ваша вера. Чем больше, тем медленнее данные её меняют. Вес данных считается из этого числа и числа испытаний. Значение примера условное.
Испытанийштук40Сколько заказов, показов или визитов уже было. Значение примера условное.
Успеховштук24Сколько из них выкуплено или купило. Не больше числа испытаний.
Цель%65Доля, выше которой модель считается успешной (например, плановый выкуп). Ваш порог.
Будущих испытанийштук100Для прогноза числа успехов, например заказов следующей партии. Не больше 10 000.
Уровень интервала95 %Вероятность, с которой доля лежит внутри интервала. Выше уровень: шире интервал.

Как считается

ШагФормула
НачальноеBeta(a0, b0): a0 = доля × сила, b0 = (1 − доля) × сила
После данныхBeta(a0 + успехи, b0 + испытания − успехи)
Среднееa ÷ (a + b)
Интервалквантили бета-распределения на уровнях (1 − уровень) ÷ 2 и 1 − (1 − уровень) ÷ 2
Выше цели1 − I_цель(a, b), I неполная бета-функция
Прогнозбета-биномиальное: P(k) = C(m, k) × B(k + a, m − k + b) ÷ B(a, b)

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Доля в данных
60 %Успехи ÷ испытания: без начальной оценки.
Апостериорная доля (среднее)
64,3 %Данные, сдвинутые к начальной оценке тем сильнее, чем меньше испытаний.
Апостериорная доля (медиана)
64,4 %
Интервал: нижняя граница
52,8 %
Интервал: верхняя граница
75 %
Ширина интервала, п. п.
22,2
Интервал Уилсона без начальной оценки: нижняя граница
44,6 %
Интервал Уилсона без начальной оценки: верхняя граница
73,7 %
Вероятность, что доля выше цели 65 %
46 %
Вес данных против начальной оценки
57,1 %Испытания ÷ (испытания + сила начальной оценки).
Ожидаемо успехов из 100 новых
64
Диапазон успехов 90 %: нижняя граница
52
Диапазон успехов 90 %: верхняя граница
76
Что вы думали о доле до данных и после
Линейный график: До данных: 0 → 0; После данных: 0 → 000,020,040,060,0820406080цельДо данных, 1: 0До данных, 99: 0После данных, 1: 0После данных, 99: 0ПлотностьДоля, %
  • До данных
  • После данных
Данные таблицей
Доля, %До данныхПосле данных
100
200
300
400
500
600
700
800
900
1000
1100
1200
1300
1400
1500
1600
1700
1800
1900
2000
2100
2200
2300
2400
2500
2600
2700
2800
2900
3000
3100
3200
3300
3400
3500
3600
3700
3800
3900
4000
4100
4200
430,0010
440,0010
450,0010
460,0010,001
470,0020,001
480,0020,002
490,0030,002
500,0030,004
510,0040,005
520,0050,007
530,0070,01
540,0080,014
550,010,019
560,0120,024
570,0140,03
580,0160,037
590,0190,044
600,0220,051
610,0250,057
620,0280,063
630,0310,067
640,0340,069
650,0370,07
660,040,068
670,0420,064
680,0440,059
690,0460,052
700,0470,045
710,0480,037
720,0480,03
730,0470,023
740,0460,017
750,0440,012
760,0410,008
770,0380,005
780,0340,003
790,0310,002
800,0270,001
810,0230,001
820,0190
830,0150
840,0120
850,0090
860,0070
870,0050
880,0030
890,0020
900,0010
910,0010
9200
9300
9400
9500
9600
9700
9800
9900

Начальное и апостериорное распределение

РаспределениеabСреднее, %
До данных21970
После данных452564,3

Данные дают 60 %, начальная оценка 70 %, итог 64,3 %: данные весят 57 %. Вероятность выше цели 46 %.

Результат настолько хорош, насколько честна начальная оценка: слишком уверенная (большая сила) заглушит данные, слишком слабая даст широкий интервал. Подглядывание в данные и остановка при удобном результате искажают вероятность. Для обуви, аксессуаров и детского начальная доля своя.

Нюансы и ограничения

  • Задавать начальную оценку с огромной силой: данные уже ничего не изменят.
  • Останавливать сбор данных, когда результат нравится: вероятность искажается.
  • Путать вероятность выше цели с долей, которую «точно» получите.

Термины расчёта

Посчитать на своих данных →