Syntha Lab EN

Байесовские оценки конверсии и выкупа: малые выборки, априорные распределения, сжатие к среднему и сравнение с частотным подходом

Как оценивать долю (конверсию, выкуп, возвраты) и скорость продаж, когда данных мало: новый магазин, новая модель, три дня продаж. Байесовский подход соединяет опыт (распределение по сети или категории) с новыми наблюдениями, даёт интервал в виде вероятности и прямой ответ «с какой вероятностью вариант B лучше A». Решение: что считать оценкой, пока данных мало, и когда уже можно решать.

Математика и аналитика Бренд и ритейл Проверено: 2026-11-14

Открыть интерактивно →

Зачем этот документ

Документ читают аналитик и руководитель, когда данных мало: новый магазин, новая модель, три дня продаж. Доля, посчитанная по десяти заказам, прыгает от случайности, и вывод вроде «конверсия 30 %» ничего не стоит. Байесовская оценка соединяет такие наблюдения с опытом по сети или категории и тянет крайние значения к среднему, поэтому малая выборка не даёт ложных рекордов и ложных провалов. По мере накопления данных вес наблюдений растёт, и оценка сходится с обычной. Так решение о закупке или закрытии не строят на шуме.

Коротко

Что это за документ и зачем он нужен?
Как оценивать долю (конверсию, выкуп, возвраты) и скорость продаж, когда данных мало: новый магазин, новая модель, три дня продаж. Байесовский подход соединяет опыт (распределение по сети или категории) с новыми наблюдениями, даёт интервал в виде вероятности и прямой ответ «с какой вероятностью вариант B лучше A». Решение: что считать оценкой, пока данных мало, и когда уже можно решать.
Кто отвечает за документ и как часто его пересчитывать?
Аналитик продаж, e-commerce или CRM; априорные распределения пересматривают раз в сезон, оценки обновляют по мере поступления данных; результат читают категорийные менеджеры, маркетинг и руководители магазинов.
Какие ошибки встречаются чаще всего?
Ставят рейтинг магазинов по сырым долям при разных n → вверху случайные малые выборки → сжатые оценки и интервалы рядом с рейтингом. Берут слишком сильный приор из чужой категории → оценка не реагирует на данные → приор из своей группы и проверка на слабом приоре. Скрывают приор и его силу → оценку нельзя воспроизвести и оспорить → версия и параметры приора хранятся рядом с оценкой.

Для кого

Бренд
Бренд оценивает конверсию сайта и выкуп новой коллекции по первым дням и малым партнёрам, опираясь на историю прошлых коллекций как приор.
Ритейл
Ритейлер оценивает конверсию новых и малых магазинов, возвраты новой модели и скорость продаж новинки по первым дням, опираясь на распределение по сети и категории.

Из чего состоит

Когда частотная оценка подводит

  • Доля x/n у малой выборки шумит: в примере магазин с 350 посетителями показал 16,6 % при истинных 14,7 %, а магазин с 2200 посетителями 9,5 % при 7,9 %. Рейтинг по сырым долям может поставить наверх случайные удачи малых выборок.
  • Доверительный интервал Уилсона честно показывает неопределённость, но не использует то, что мы знаем заранее: конверсия магазина сети не может быть равна 40 % или 0,1 %. Байесовская оценка добавляет эти знания как приор и даёт устойчивый ответ уже на первых наблюдениях.
  • Приор — это не догадка, а распределение, оценённое по данным: по магазинам сети, по прошлым коллекциям, по аналогам. Чем меньше данных и чем уже приор, тем больше он влияет; при большой выборке приор перестаёт иметь значение.

Бета-биномиальная модель

  • Конверсия p имеет приор Beta(α, β) со средним α/(α + β) и силой κ = α + β (сколько «виртуальных наблюдений» он стоит). После x покупок из n посетителей апостериор Beta(α + x, β + n − x), а его среднее (x + α)/(n + κ) это взвешенное среднее сырой доли x/n и приора.
  • Приор оценивают по магазинам сети методом моментов с поправкой на биномиальный шум: в примере средняя конверсия 8,5 %, сила κ = 159 (α = 13,5, β = 145,8). Вес сырой доли n/(n + κ): для магазина на 350 посетителей 69 %, для магазина на 20 000 99 %.
  • Результат сжатия к среднему: среднеквадратичная ошибка оценки истинной конверсии у сырых долей 0,65·10⁻⁴, у байесовских 0,32·10⁻⁴, а у пяти самых малых магазинов 1,37·10⁻⁴ против 0,62·10⁻⁴. Из трёх лучших магазинов по истинной конверсии сырой рейтинг находит 3, байесовский 3.
  • Бренд: приор для нового партнёра или канала берут из распределения по партнёрам того же типа и размера, а не из среднего по всем продажам бренда; крупные партнёры делают среднее непоказательным.
  • Ритейл: приор для нового магазина берут из магазинов того же формата, города и площади; торговый центр и улица дают разные распределения, и смешивать их нельзя.

Новый магазин и интервалы

  • Новый магазин: 7 покупок из 120 посетителей, сырая доля 5,8 %. Байесовская оценка с приором сети 7,3 %, 95 % интервал 4,6–10,7 %; с плоским приором интервал 2,9–11,6 %, у Уилсона 2,9–11,6 %. Информативный приор сужает интервал на 30 %.
  • Достоверный интервал означает прямое утверждение: с вероятностью 95 % истинная конверсия лежит в этих границах при выбранной модели. Доверительный интервал частотного подхода говорит о доле таких интервалов, покрывающих истину при повторении выборки; для решений удобнее первая трактовка, но она верна только если приор обоснован.
  • Чувствительность к приору: при той же сырой доле 5,8 % и n = 20 оценка колеблется от 6,7 % (слабый приор) до 9,8 % (плоский), при n = 2 500 разброс 0,15 п. п. Вывод: на малых n приор надо показывать и обосновывать, а на больших его влияние исчезает.

Сравнение вариантов A и B

  • Пример: A 40 из 500 (8 %), B 55 из 520 (10,6 %). Частотный ответ: p-значение 0,157, то есть при α = 5 % различие не доказано. Байесовский ответ: вероятность того, что B лучше A, 92 %, ожидаемая потеря при выборе B 0,07 п. п. конверсии.
  • Оба ответа согласованы: данных мало для вывода «B лучше с 95 % уверенностью», но на пользу B указывают более девяти шансов из десяти. Решение принимают по цене ошибки: если запуск B дёшев и обратим, этого достаточно, если нет, ждут данных; порог вероятности и порог ожидаемой потери задают до теста.
  • Бренд: порог раскатки для D2C-страницы низкий, потому что откат дёшев; для изменения цены или условий партнёров порог выше, потому что откат дорог и виден партнёрам.
  • Ритейл: порог для акции в сети выше, чем для пилота в трёх магазинах: цена ошибки растёт с охватом, а байесовская оценка по пилоту обновляется по мере продаж.
  • Байесовский подход не снимает проблем подглядывания и множественных сравнений в полной мере: правило остановки и приор фиксируют заранее, а число вариантов учитывают через приор и пороги, как и в частотном подходе (документ про A/B-тесты).

Выкуп новой модели и прогноз новинки по первым дням

  • Возвраты новой модели: 14 из 40 (35 %) при приоре категории со средним 22 % и силой 60. Апостериорное среднее 27,2 %, вероятность того, что возвраты выше порога 30 %, 26 %. Решение не «возвраты 35 %, снимаем с продажи», а «вероятность превышения порога около четверти, продолжаем и пересчитываем по 100 заказам».
  • Скорость продаж новинки (штуки в день) моделируют гамма-распределением, а число продаж пуассоновским. Приор аналогов Gamma(6; 1,5) со средним 4 шт. в день, наблюдение 14 шт. за 3 дня (сырая скорость 4,7) даёт апостериор Gamma(20; 4,5) со средним 4,44 шт. в день.
  • Прогноз продаж на следующие 14 дней строят предсказательным распределением, которое учитывает и неопределённость скорости, и пуассоновский шум: медиана 61 шт., 80 % интервал 43–84 шт. Интервал и есть то, что передают в заказ и в дозаказ.

Бренд и ритейл: что оценивают байесовски

  • Бренд: конверсия новых каналов и страниц, выкуп новой коллекции по первой партии, доля возвратов у нового партнёра; приор берут из прошлых коллекций и каналов.
  • Ритейл: конверсия новых и малых магазинов, доля продаж по скидочной карте, возвраты новой модели и скорость новинки; приор берут из распределения по сети, формату и категории.
  • Бренд: сравнение вариантов страниц и цен D2C делают по вероятности «B лучше A» и ожидаемой потере, а решение о раскатке привязывают к цене ошибки.
  • Ритейл: рейтинг магазинов по конверсии и чеку строят по сжатым оценкам, а не по сырым долям, чтобы премии и разборы не раздавали за случайность малой выборки.
  • Бренд: решение о дозаказе ткани по первым неделям продаж опирается на предсказательный интервал, а не на точечный прогноз.
  • Ритейл: решение о перераспределении новинки между магазинами по первым дням опирается на апостериорную скорость с интервалом: один день без продаж в магазине не повод её снимать.

Откуда берутся данные

Источник данныхПоля
Счётчики и чекиПосетители и покупки по магазину и неделе, заказы и возвраты по модели, продажи по дням для новинки; число наблюдений n и событий x.
История для приораКонверсия и возвраты по магазинам сети, по прошлым коллекциям и аналогам, скорость продаж аналогов по дням жизни.
Пороги решенийДопустимая доля возвратов, порог вероятности «B лучше A», допустимая ожидаемая потеря, цена ошибки запуска и отката.

Как собрать по шагам

  1. Шаг 1. Определите, что оценивается (доля или скорость), и модель: бета-биномиальная для долей, гамма-пуассоновская для скорости продаж.
  2. Бренд: Шаг 2. Соберите историю прошлых коллекций и каналов (выкуп, конверсия) и оцените приор методом моментов; для нового канала возьмите ближайший по аудитории.
  3. Ритейл: Шаг 3. Соберите конверсии магазинов сети и оцените приор по формату и региону; сила приора не больше числа посетителей типичного месяца магазина.
  4. Шаг 4. Оцените средний уровень m и разброс τ² между объектами с поправкой на биномиальный шум; получите α и β.
  5. Шаг 5. Для каждого объекта посчитайте апостериор Beta(α + x, β + n − x), среднее и 95 % достоверный интервал; рядом покажите n и сырую долю.
  6. Шаг 6. Проверьте приор на устойчивость: пересчитайте с плоским и слабым приором; если решение меняется, данных недостаточно и нужно собирать больше.
  7. Бренд: Шаг 7. Для сравнения вариантов посчитайте вероятность «B лучше A» и ожидаемую потерю; решение о раскатке принимайте по заранее заданным порогам и цене отката.
  8. Ритейл: Шаг 8. Постройте рейтинг магазинов по апостериорным средним и интервалам; не награждайте и не наказывайте магазины, чьи интервалы пересекаются.
  9. Шаг 9. Для новинки постройте предсказательный интервал продаж на ближайшие недели и передайте его в заказ и дозаказ вместе с точкой пересчёта.
  10. Шаг 10. Обновляйте приор раз в сезон по новым данным и храните версию приора вместе с оценкой, чтобы решения можно было воспроизвести.

Формулы

ПоказательФормулыПояснение
Апостериор долиp | x, n ~ Beta(α + x, β + n − x); E[p | x, n] = (x + α) / (n + α + β)Приор Beta(α, β) со средним α/(α + β) и силой κ = α + β.
Сжатие к среднемуE[p | x, n] = w·(x/n) + (1 − w)·m, w = n / (n + κ), m = α / (α + β)w растёт с n: при большой выборке оценка совпадает с x/n.
Эмпирический байесm = Σx_i / Σn_i, τ̂² = max( Σn_i(p̂_i − m)²/Σn_i − m(1 − m)/n̄, ε ), κ̂ = m(1 − m)/τ̂² − 1Метод моментов; n̄ средний размер выборки объекта.
Достоверный интервал[ q_(0,025), q_(0,975) ] квантили Beta(α + x, β + n − x)Вероятность 95 % при выбранной модели; зависит от приора.
Вероятность B > A и потеряP(B > A) = P(p_B > p_A), L_B = E[ max(p_A − p_B, 0) ]Считают выборкой из двух бета-распределений (моделирование) или интегралом.
Гамма-пуассоновская модельλ ~ Gamma(a, r); x | λ ~ Poisson(λ·t); λ | x ~ Gamma(a + x, r + t)Среднее скорости a/r; предсказание на горизонт H получают выборкой λ и затем числа продаж.

Формулы в записи

Апостериорное среднее
E[p | x, n] = (x + α) / (n + α + β)
Взвешенное среднее доли и приора.
Вес данных
w = n / (n + κ), κ = α + β
Растёт с размером выборки.
Сила приора
κ̂ = m(1 − m) / τ̂² − 1
Оценка по разбросу между объектами.
Вероятность B > A
P(p_B > p_A); L_B = E[ max(p_A − p_B, 0) ]
Выборка из двух бета-распределений.
Гамма-пуассон
λ | x ~ Gamma(a + x, r + t)
Скорость продаж новинки.

Пример с числами

Двенадцать магазинов: сырая доля, байесовская оценка и истинная конверсия

МагазинПосетителиСырая, %Байесовская, %Истинная, %
135016,61414,7
26003,54,53,9
39005,86,26,1
41 50015,815,115
52 2009,59,47,9
63 00013,413,112,9
74 5001211,912
86 0007,27,27,6
98 0009,79,79,3
1011 0008,68,69,1
1114 0006,26,26,2
1220 0007,87,88

Конверсии магазинов сформированы кодом (фиксированное зерно) из распределения Beta(7,2; 72,8); приор оценён по этим же магазинам (m = 8,5 %, κ = 159). У пяти самых малых магазинов среднеквадратичная ошибка байесовской оценки 0,62·10⁻⁴ против 1,37·10⁻⁴ у сырой доли. Данные учебные.

Рисунки

Новый магазин: приор и апостериор конверсии
Линейный график: Приор сети: 0 → 0; Апостериор с приором сети: 0 → 0; Апостериор с плоским приором: 0 → 00510152025300.13.67.110.514.117.621.124.6Приор сети, 0.1: 0Приор сети, 25.1: 0Апостериор с приором сети, 0.1: 0Апостериор с приором сети, 25.1: 0Апостериор с плоским приором, 0.1: 0Апостериор с плоским приором, 25.1: 0плотность
  • Приор сети
  • Апостериор с приором сети
  • Апостериор с плоским приором
Данные таблицей
ПоказательПриор сетиАпостериор с приором сетиАпостериор с плоским приором
0.1000
0.5000
1.1000
1.6000,3
2.1001,1
2.6002,7
3.10,20,15,3
3.60,70,68,6
4.11,61,912
4.63,34,815,1
5.15,79,417,3
5.68,615,218,4
6.111,720,818,5
6.614,624,717,6
7.116,92616,1
7.618,224,614,1
8.118,521,212
8.617,816,89,9
916,412,47,9
9.614,48,56,2
10.112,25,54,7
10.5103,43,5
11.17,922,6
11.66,11,11,9
124,60,61,3
12.63,30,30,9
13.12,40,10,6
13.61,60,10,4
14.11,100,3
14.60,700,2
15.10,500,1
15.60,300,1
16.10,200,1
16.60,100
17.10,100
17.6000
18.1000
18.6000
19.1000
19.6000
20.1000
20.6000
21.1000
21.6000
22.1000
22.6000
23.1000
23.6000
24.1000
24.6000
25.1000

Новый магазин: приор и апостериор конверсии. Приор сети сосредоточен около 8,5 %; после 120 посетителей и 7 покупок апостериор сдвинут к 7,3 % и уже плоского: интервал 4,6–10,7 %. Плоский приор даёт широкую кривую с максимумом в сырой доле 5,8 %. По оси: конверсия, %.

Двенадцать магазинов: сырая доля, байесовская оценка и истина
Столбчатая диаграмма: 1 (350) 16,6, 2 (600) 3,5, 3 (900) 5,8, 4 (1 500) 15,8, 5 (2 200) 9,5, 6 (3 000) 13,4051015201 (350)1 (350)Сырая доля: 16,616,6Байесовская оценка: 1414Истинная: 14,714,72 (600)2 (600)Сырая доля: 3,53,5Байесовская оценка: 4,54,5Истинная: 3,93,93 (900)3 (900)Сырая доля: 5,85,8Байесовская оценка: 6,26,2Истинная: 6,16,14 (1 500)4 (1 500)Сырая доля: 15,815,8Байесовская оценка: 15,115,1Истинная: 15155 (2 200)5 (2 200)Сырая доля: 9,59,5Байесовская оценка: 9,49,4Истинная: 7,97,96 (3 000)6 (3 000)Сырая доля: 13,413,4Байесовская оценка: 13,113,1Истинная: 12,912,97 (4 500)7 (4 500)Сырая доля: 1212Байесовская оценка: 11,911,9Истинная: 12128 (6 000)8 (6 000)Сырая доля: 7,27,2Байесовская оценка: 7,27,2Истинная: 7,67,69 (8 000)9 (8 000)Сырая доля: 9,79,7Байесовская оценка: 9,79,7Истинная: 9,39,310 (11 000)10 (11 000)Сырая доля: 8,68,6Байесовская оценка: 8,68,6Истинная: 9,19,111 (14 000)11 (14 000)Сырая доля: 6,26,2Байесовская оценка: 6,26,2Истинная: 6,26,212 (20 000)12 (20 000)Сырая доля: 7,87,8Байесовская оценка: 7,87,8Истинная: 88%
  • Сырая доля
  • Байесовская оценка
  • Истинная
Данные таблицей
ПоказательСырая доляБайесовская оценкаИстинная
1 (350)16,61414,7
2 (600)3,54,53,9
3 (900)5,86,26,1
4 (1 500)15,815,115
5 (2 200)9,59,47,9
6 (3 000)13,413,112,9
7 (4 500)1211,912
8 (6 000)7,27,27,6
9 (8 000)9,79,79,3
10 (11 000)8,68,69,1
11 (14 000)6,26,26,2
12 (20 000)7,87,88

Двенадцать магазинов: сырая доля, байесовская оценка и истина. Для малых магазинов сырая доля сильно отходит от истины, байесовская оценка ближе; среднеквадратичная ошибка по всем магазинам 0,65·10⁻⁴ против 0,32·10⁻⁴. По оси: номер магазина (число посетителей).

Вероятность «B лучше A» и p-значение при росте выборки
Линейный график: P(B лучше A), %: 72,2 → 99,9; p-значение, %: 52,7 → 0,502040608010010020030050080012002000P(B лучше A), %, 100: 72,2P(B лучше A), %, 200: 81,3P(B лучше A), %, 300: 86,5P(B лучше A), %, 500: 91,7P(B лучше A), %, 800: 96,5P(B лучше A), %, 1200: 98,7P(B лучше A), %, 2000: 99,9p-значение, %, 100: 52,7p-значение, %, 200: 37,1p-значение, %, 300: 27,3p-значение, %, 500: 15,7p-значение, %, 800: 7,3p-значение, %, 1200: 2,8p-значение, %, 2000: 0,5%
  • P(B лучше A), %
  • p-значение, %
Данные таблицей
ПоказательP(B лучше A), %p-значение, %
10072,252,7
20081,337,1
30086,527,3
50091,715,7
80096,57,3
120098,72,8
200099,90,5

Вероятность «B лучше A» и p-значение при росте выборки. При наблюдаемой разнице 8 → 10,6 % и 500 посетителях на вариант вероятность 92 % при p = 16 %; с ростом выборки при тех же долях вероятность стремится к 100 %, p-значение к нулю. По оси: посетителей на вариант.

Чувствительность оценки к приору при одной и той же сырой доле
Столбчатая диаграмма: 20 9,85, 100 6,7, 500 6,01, 2500 5,8702468102020Плоский Beta(1, 1): 9,85Слабый (сила 10): 6,71Сети (оценка по магазинам): 8,18100100Плоский Beta(1, 1): 6,7Слабый (сила 10): 6,07Сети (оценка по магазинам): 7,45500500Плоский Beta(1, 1): 6,01Слабый (сила 10): 5,89Сети (оценка по магазинам): 6,4725002500Плоский Beta(1, 1): 5,87Слабый (сила 10): 5,84Сети (оценка по магазинам): 5,99%
  • Плоский Beta(1, 1)
  • Слабый (сила 10)
  • Сети (оценка по магазинам)
Данные таблицей
ПоказательПлоский Beta(1, 1)Слабый (сила 10)Сети (оценка по магазинам)
209,856,718,18
1006,76,077,45
5006,015,896,47
25005,875,845,99

Чувствительность оценки к приору при одной и той же сырой доле. При n = 20 оценки с разными приорами различаются на 3,1 п. п., при n = 2 500 на 0,15 п. п.: чем больше данных, тем меньше значит приор. По оси: число посетителей; сырая доля 5,8 %.

Ширина 95 % интервала для нового магазина
Столбчатая диаграмма: Приор сети 6,1, Плоский приор 8,7, Уилсон 8,70246810Приор сетиПриор сетиШирина интервала: 6,16,1Плоский приорПлоский приорШирина интервала: 8,78,7УилсонУилсонШирина интервала: 8,78,7п. п.
Данные таблицей
ПоказательШирина интервала
Приор сети6,1
Плоский приор8,7
Уилсон8,7

Ширина 95 % интервала для нового магазина. Информативный приор даёт 6,1 п. п. против 8,7 у плоского и 8,7 у Уилсона: выигрыш в точности это цена допущения, что магазин похож на сеть.

Особенности по категориям

Одежда
Выкуп и конверсия различаются по подгруппам (верхняя одежда, трикотаж): приор строят по подгруппе, а не по всей категории; сезонные модели оценивают по аналогам прошлого сезона.
Обувь
Возвраты по размеру и полноте высоки и сильно разнятся по моделям: у новой модели малое число заказов, поэтому сжатие к приору категории обязательно; размеры оценивают внутри модели.
Аксессуары
Малое число продаж на SKU и много нулей: гамма-пуассоновская модель для скорости, приор по группе; решение о выводе позиции опирается на апостериорный интервал, а не на пару пустых недель.
Детское
Короткий сезон и размерные группы: данных на модель мало, приор по возрастной группе и по сезону прошлого года; обновление после каждой недели продаж.
Мужское
Спрос стабильнее, приоры уже и надёжнее, поэтому решение принимают раньше; для базовых позиций сжатие почти не меняет оценку при нормальной выборке.
Женское
Быстрая смена ассортимента, мало истории по модели и высокий разброс: байесовские оценки и предсказательные интервалы дают наибольшую пользу; приор строят по группе моделей и цвету.

Типичные ошибки

  • Ставят рейтинг магазинов по сырым долям при разных n → вверху случайные малые выборки → сжатые оценки и интервалы рядом с рейтингом.
  • Берут слишком сильный приор из чужой категории → оценка не реагирует на данные → приор из своей группы и проверка на слабом приоре.
  • Скрывают приор и его силу → оценку нельзя воспроизвести и оспорить → версия и параметры приора хранятся рядом с оценкой.
  • Читают вероятность «B лучше A» 92 % как доказанное различие → запуск без учёта цены ошибки → заранее заданные пороги вероятности и потери.
  • Останавливают тест при первом удачном значении вероятности → завышенная уверенность → правило остановки и приор фиксируют до запуска.

Особенности России

  • Ритейл: данные для приора по покупателям (карты, чеки с идентификатором) обрабатывают с правовым основанием и в обезличенном виде; оценкам по магазинам, моделям и дням личные данные не нужны. Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных» (проверка нормы не завершена).
  • Возвраты и отказ от товара по дистанционной продаже регулирует закон о защите прав потребителей; пороги возвратов в модели это управленческие пороги, а не нормы, и права покупателя они не ограничивают. Норма: закон 2300-1 от 07.02.1992: Закон от 07.02.1992 № 2300-1 «О защите прав потребителей» (проверка нормы не завершена).

Открыть интерактивно →