Байесовские оценки конверсии и выкупа: малые выборки, априорные распределения, сжатие к среднему и сравнение с частотным подходом
Как оценивать долю (конверсию, выкуп, возвраты) и скорость продаж, когда данных мало: новый магазин, новая модель, три дня продаж. Байесовский подход соединяет опыт (распределение по сети или категории) с новыми наблюдениями, даёт интервал в виде вероятности и прямой ответ «с какой вероятностью вариант B лучше A». Решение: что считать оценкой, пока данных мало, и когда уже можно решать.
Зачем этот документ
Документ читают аналитик и руководитель, когда данных мало: новый магазин, новая модель, три дня продаж. Доля, посчитанная по десяти заказам, прыгает от случайности, и вывод вроде «конверсия 30 %» ничего не стоит. Байесовская оценка соединяет такие наблюдения с опытом по сети или категории и тянет крайние значения к среднему, поэтому малая выборка не даёт ложных рекордов и ложных провалов. По мере накопления данных вес наблюдений растёт, и оценка сходится с обычной. Так решение о закупке или закрытии не строят на шуме.
Коротко
- Что это за документ и зачем он нужен?
- Как оценивать долю (конверсию, выкуп, возвраты) и скорость продаж, когда данных мало: новый магазин, новая модель, три дня продаж. Байесовский подход соединяет опыт (распределение по сети или категории) с новыми наблюдениями, даёт интервал в виде вероятности и прямой ответ «с какой вероятностью вариант B лучше A». Решение: что считать оценкой, пока данных мало, и когда уже можно решать.
- Кто отвечает за документ и как часто его пересчитывать?
- Аналитик продаж, e-commerce или CRM; априорные распределения пересматривают раз в сезон, оценки обновляют по мере поступления данных; результат читают категорийные менеджеры, маркетинг и руководители магазинов.
- Какие ошибки встречаются чаще всего?
- Ставят рейтинг магазинов по сырым долям при разных n → вверху случайные малые выборки → сжатые оценки и интервалы рядом с рейтингом. Берут слишком сильный приор из чужой категории → оценка не реагирует на данные → приор из своей группы и проверка на слабом приоре. Скрывают приор и его силу → оценку нельзя воспроизвести и оспорить → версия и параметры приора хранятся рядом с оценкой.
Для кого
- Бренд
- Бренд оценивает конверсию сайта и выкуп новой коллекции по первым дням и малым партнёрам, опираясь на историю прошлых коллекций как приор.
- Ритейл
- Ритейлер оценивает конверсию новых и малых магазинов, возвраты новой модели и скорость продаж новинки по первым дням, опираясь на распределение по сети и категории.
Из чего состоит
Когда частотная оценка подводит
- Доля x/n у малой выборки шумит: в примере магазин с 350 посетителями показал 16,6 % при истинных 14,7 %, а магазин с 2200 посетителями 9,5 % при 7,9 %. Рейтинг по сырым долям может поставить наверх случайные удачи малых выборок.
- Доверительный интервал Уилсона честно показывает неопределённость, но не использует то, что мы знаем заранее: конверсия магазина сети не может быть равна 40 % или 0,1 %. Байесовская оценка добавляет эти знания как приор и даёт устойчивый ответ уже на первых наблюдениях.
- Приор — это не догадка, а распределение, оценённое по данным: по магазинам сети, по прошлым коллекциям, по аналогам. Чем меньше данных и чем уже приор, тем больше он влияет; при большой выборке приор перестаёт иметь значение.
Бета-биномиальная модель
- Конверсия p имеет приор Beta(α, β) со средним α/(α + β) и силой κ = α + β (сколько «виртуальных наблюдений» он стоит). После x покупок из n посетителей апостериор Beta(α + x, β + n − x), а его среднее (x + α)/(n + κ) это взвешенное среднее сырой доли x/n и приора.
- Приор оценивают по магазинам сети методом моментов с поправкой на биномиальный шум: в примере средняя конверсия 8,5 %, сила κ = 159 (α = 13,5, β = 145,8). Вес сырой доли n/(n + κ): для магазина на 350 посетителей 69 %, для магазина на 20 000 99 %.
- Результат сжатия к среднему: среднеквадратичная ошибка оценки истинной конверсии у сырых долей 0,65·10⁻⁴, у байесовских 0,32·10⁻⁴, а у пяти самых малых магазинов 1,37·10⁻⁴ против 0,62·10⁻⁴. Из трёх лучших магазинов по истинной конверсии сырой рейтинг находит 3, байесовский 3.
- Бренд: приор для нового партнёра или канала берут из распределения по партнёрам того же типа и размера, а не из среднего по всем продажам бренда; крупные партнёры делают среднее непоказательным.
- Ритейл: приор для нового магазина берут из магазинов того же формата, города и площади; торговый центр и улица дают разные распределения, и смешивать их нельзя.
Новый магазин и интервалы
- Новый магазин: 7 покупок из 120 посетителей, сырая доля 5,8 %. Байесовская оценка с приором сети 7,3 %, 95 % интервал 4,6–10,7 %; с плоским приором интервал 2,9–11,6 %, у Уилсона 2,9–11,6 %. Информативный приор сужает интервал на 30 %.
- Достоверный интервал означает прямое утверждение: с вероятностью 95 % истинная конверсия лежит в этих границах при выбранной модели. Доверительный интервал частотного подхода говорит о доле таких интервалов, покрывающих истину при повторении выборки; для решений удобнее первая трактовка, но она верна только если приор обоснован.
- Чувствительность к приору: при той же сырой доле 5,8 % и n = 20 оценка колеблется от 6,7 % (слабый приор) до 9,8 % (плоский), при n = 2 500 разброс 0,15 п. п. Вывод: на малых n приор надо показывать и обосновывать, а на больших его влияние исчезает.
Сравнение вариантов A и B
- Пример: A 40 из 500 (8 %), B 55 из 520 (10,6 %). Частотный ответ: p-значение 0,157, то есть при α = 5 % различие не доказано. Байесовский ответ: вероятность того, что B лучше A, 92 %, ожидаемая потеря при выборе B 0,07 п. п. конверсии.
- Оба ответа согласованы: данных мало для вывода «B лучше с 95 % уверенностью», но на пользу B указывают более девяти шансов из десяти. Решение принимают по цене ошибки: если запуск B дёшев и обратим, этого достаточно, если нет, ждут данных; порог вероятности и порог ожидаемой потери задают до теста.
- Бренд: порог раскатки для D2C-страницы низкий, потому что откат дёшев; для изменения цены или условий партнёров порог выше, потому что откат дорог и виден партнёрам.
- Ритейл: порог для акции в сети выше, чем для пилота в трёх магазинах: цена ошибки растёт с охватом, а байесовская оценка по пилоту обновляется по мере продаж.
- Байесовский подход не снимает проблем подглядывания и множественных сравнений в полной мере: правило остановки и приор фиксируют заранее, а число вариантов учитывают через приор и пороги, как и в частотном подходе (документ про A/B-тесты).
Выкуп новой модели и прогноз новинки по первым дням
- Возвраты новой модели: 14 из 40 (35 %) при приоре категории со средним 22 % и силой 60. Апостериорное среднее 27,2 %, вероятность того, что возвраты выше порога 30 %, 26 %. Решение не «возвраты 35 %, снимаем с продажи», а «вероятность превышения порога около четверти, продолжаем и пересчитываем по 100 заказам».
- Скорость продаж новинки (штуки в день) моделируют гамма-распределением, а число продаж пуассоновским. Приор аналогов Gamma(6; 1,5) со средним 4 шт. в день, наблюдение 14 шт. за 3 дня (сырая скорость 4,7) даёт апостериор Gamma(20; 4,5) со средним 4,44 шт. в день.
- Прогноз продаж на следующие 14 дней строят предсказательным распределением, которое учитывает и неопределённость скорости, и пуассоновский шум: медиана 61 шт., 80 % интервал 43–84 шт. Интервал и есть то, что передают в заказ и в дозаказ.
Бренд и ритейл: что оценивают байесовски
- Бренд: конверсия новых каналов и страниц, выкуп новой коллекции по первой партии, доля возвратов у нового партнёра; приор берут из прошлых коллекций и каналов.
- Ритейл: конверсия новых и малых магазинов, доля продаж по скидочной карте, возвраты новой модели и скорость новинки; приор берут из распределения по сети, формату и категории.
- Бренд: сравнение вариантов страниц и цен D2C делают по вероятности «B лучше A» и ожидаемой потере, а решение о раскатке привязывают к цене ошибки.
- Ритейл: рейтинг магазинов по конверсии и чеку строят по сжатым оценкам, а не по сырым долям, чтобы премии и разборы не раздавали за случайность малой выборки.
- Бренд: решение о дозаказе ткани по первым неделям продаж опирается на предсказательный интервал, а не на точечный прогноз.
- Ритейл: решение о перераспределении новинки между магазинами по первым дням опирается на апостериорную скорость с интервалом: один день без продаж в магазине не повод её снимать.
Откуда берутся данные
| Источник данных | Поля |
|---|---|
| Счётчики и чеки | Посетители и покупки по магазину и неделе, заказы и возвраты по модели, продажи по дням для новинки; число наблюдений n и событий x. |
| История для приора | Конверсия и возвраты по магазинам сети, по прошлым коллекциям и аналогам, скорость продаж аналогов по дням жизни. |
| Пороги решений | Допустимая доля возвратов, порог вероятности «B лучше A», допустимая ожидаемая потеря, цена ошибки запуска и отката. |
Как собрать по шагам
- Шаг 1. Определите, что оценивается (доля или скорость), и модель: бета-биномиальная для долей, гамма-пуассоновская для скорости продаж.
- Бренд: Шаг 2. Соберите историю прошлых коллекций и каналов (выкуп, конверсия) и оцените приор методом моментов; для нового канала возьмите ближайший по аудитории.
- Ритейл: Шаг 3. Соберите конверсии магазинов сети и оцените приор по формату и региону; сила приора не больше числа посетителей типичного месяца магазина.
- Шаг 4. Оцените средний уровень m и разброс τ² между объектами с поправкой на биномиальный шум; получите α и β.
- Шаг 5. Для каждого объекта посчитайте апостериор Beta(α + x, β + n − x), среднее и 95 % достоверный интервал; рядом покажите n и сырую долю.
- Шаг 6. Проверьте приор на устойчивость: пересчитайте с плоским и слабым приором; если решение меняется, данных недостаточно и нужно собирать больше.
- Бренд: Шаг 7. Для сравнения вариантов посчитайте вероятность «B лучше A» и ожидаемую потерю; решение о раскатке принимайте по заранее заданным порогам и цене отката.
- Ритейл: Шаг 8. Постройте рейтинг магазинов по апостериорным средним и интервалам; не награждайте и не наказывайте магазины, чьи интервалы пересекаются.
- Шаг 9. Для новинки постройте предсказательный интервал продаж на ближайшие недели и передайте его в заказ и дозаказ вместе с точкой пересчёта.
- Шаг 10. Обновляйте приор раз в сезон по новым данным и храните версию приора вместе с оценкой, чтобы решения можно было воспроизвести.
Формулы
| Показатель | Формулы | Пояснение |
|---|---|---|
| Апостериор доли | p | x, n ~ Beta(α + x, β + n − x); E[p | x, n] = (x + α) / (n + α + β) | Приор Beta(α, β) со средним α/(α + β) и силой κ = α + β. |
| Сжатие к среднему | E[p | x, n] = w·(x/n) + (1 − w)·m, w = n / (n + κ), m = α / (α + β) | w растёт с n: при большой выборке оценка совпадает с x/n. |
| Эмпирический байес | m = Σx_i / Σn_i, τ̂² = max( Σn_i(p̂_i − m)²/Σn_i − m(1 − m)/n̄, ε ), κ̂ = m(1 − m)/τ̂² − 1 | Метод моментов; n̄ средний размер выборки объекта. |
| Достоверный интервал | [ q_(0,025), q_(0,975) ] квантили Beta(α + x, β + n − x) | Вероятность 95 % при выбранной модели; зависит от приора. |
| Вероятность B > A и потеря | P(B > A) = P(p_B > p_A), L_B = E[ max(p_A − p_B, 0) ] | Считают выборкой из двух бета-распределений (моделирование) или интегралом. |
| Гамма-пуассоновская модель | λ ~ Gamma(a, r); x | λ ~ Poisson(λ·t); λ | x ~ Gamma(a + x, r + t) | Среднее скорости a/r; предсказание на горизонт H получают выборкой λ и затем числа продаж. |
Формулы в записи
- Апостериорное среднее
E[p | x, n] = (x + α) / (n + α + β)
Взвешенное среднее доли и приора.- Вес данных
w = n / (n + κ), κ = α + β
Растёт с размером выборки.- Сила приора
κ̂ = m(1 − m) / τ̂² − 1
Оценка по разбросу между объектами.- Вероятность B > A
P(p_B > p_A); L_B = E[ max(p_A − p_B, 0) ]
Выборка из двух бета-распределений.- Гамма-пуассон
λ | x ~ Gamma(a + x, r + t)
Скорость продаж новинки.
Пример с числами
Двенадцать магазинов: сырая доля, байесовская оценка и истинная конверсия
| Магазин | Посетители | Сырая, % | Байесовская, % | Истинная, % |
|---|---|---|---|---|
| 1 | 350 | 16,6 | 14 | 14,7 |
| 2 | 600 | 3,5 | 4,5 | 3,9 |
| 3 | 900 | 5,8 | 6,2 | 6,1 |
| 4 | 1 500 | 15,8 | 15,1 | 15 |
| 5 | 2 200 | 9,5 | 9,4 | 7,9 |
| 6 | 3 000 | 13,4 | 13,1 | 12,9 |
| 7 | 4 500 | 12 | 11,9 | 12 |
| 8 | 6 000 | 7,2 | 7,2 | 7,6 |
| 9 | 8 000 | 9,7 | 9,7 | 9,3 |
| 10 | 11 000 | 8,6 | 8,6 | 9,1 |
| 11 | 14 000 | 6,2 | 6,2 | 6,2 |
| 12 | 20 000 | 7,8 | 7,8 | 8 |
Конверсии магазинов сформированы кодом (фиксированное зерно) из распределения Beta(7,2; 72,8); приор оценён по этим же магазинам (m = 8,5 %, κ = 159). У пяти самых малых магазинов среднеквадратичная ошибка байесовской оценки 0,62·10⁻⁴ против 1,37·10⁻⁴ у сырой доли. Данные учебные.
Рисунки
- Приор сети
- Апостериор с приором сети
- Апостериор с плоским приором
Данные таблицей
| Показатель | Приор сети | Апостериор с приором сети | Апостериор с плоским приором |
|---|---|---|---|
| 0.1 | 0 | 0 | 0 |
| 0.5 | 0 | 0 | 0 |
| 1.1 | 0 | 0 | 0 |
| 1.6 | 0 | 0 | 0,3 |
| 2.1 | 0 | 0 | 1,1 |
| 2.6 | 0 | 0 | 2,7 |
| 3.1 | 0,2 | 0,1 | 5,3 |
| 3.6 | 0,7 | 0,6 | 8,6 |
| 4.1 | 1,6 | 1,9 | 12 |
| 4.6 | 3,3 | 4,8 | 15,1 |
| 5.1 | 5,7 | 9,4 | 17,3 |
| 5.6 | 8,6 | 15,2 | 18,4 |
| 6.1 | 11,7 | 20,8 | 18,5 |
| 6.6 | 14,6 | 24,7 | 17,6 |
| 7.1 | 16,9 | 26 | 16,1 |
| 7.6 | 18,2 | 24,6 | 14,1 |
| 8.1 | 18,5 | 21,2 | 12 |
| 8.6 | 17,8 | 16,8 | 9,9 |
| 9 | 16,4 | 12,4 | 7,9 |
| 9.6 | 14,4 | 8,5 | 6,2 |
| 10.1 | 12,2 | 5,5 | 4,7 |
| 10.5 | 10 | 3,4 | 3,5 |
| 11.1 | 7,9 | 2 | 2,6 |
| 11.6 | 6,1 | 1,1 | 1,9 |
| 12 | 4,6 | 0,6 | 1,3 |
| 12.6 | 3,3 | 0,3 | 0,9 |
| 13.1 | 2,4 | 0,1 | 0,6 |
| 13.6 | 1,6 | 0,1 | 0,4 |
| 14.1 | 1,1 | 0 | 0,3 |
| 14.6 | 0,7 | 0 | 0,2 |
| 15.1 | 0,5 | 0 | 0,1 |
| 15.6 | 0,3 | 0 | 0,1 |
| 16.1 | 0,2 | 0 | 0,1 |
| 16.6 | 0,1 | 0 | 0 |
| 17.1 | 0,1 | 0 | 0 |
| 17.6 | 0 | 0 | 0 |
| 18.1 | 0 | 0 | 0 |
| 18.6 | 0 | 0 | 0 |
| 19.1 | 0 | 0 | 0 |
| 19.6 | 0 | 0 | 0 |
| 20.1 | 0 | 0 | 0 |
| 20.6 | 0 | 0 | 0 |
| 21.1 | 0 | 0 | 0 |
| 21.6 | 0 | 0 | 0 |
| 22.1 | 0 | 0 | 0 |
| 22.6 | 0 | 0 | 0 |
| 23.1 | 0 | 0 | 0 |
| 23.6 | 0 | 0 | 0 |
| 24.1 | 0 | 0 | 0 |
| 24.6 | 0 | 0 | 0 |
| 25.1 | 0 | 0 | 0 |
Новый магазин: приор и апостериор конверсии. Приор сети сосредоточен около 8,5 %; после 120 посетителей и 7 покупок апостериор сдвинут к 7,3 % и уже плоского: интервал 4,6–10,7 %. Плоский приор даёт широкую кривую с максимумом в сырой доле 5,8 %. По оси: конверсия, %.
- Сырая доля
- Байесовская оценка
- Истинная
Данные таблицей
| Показатель | Сырая доля | Байесовская оценка | Истинная |
|---|---|---|---|
| 1 (350) | 16,6 | 14 | 14,7 |
| 2 (600) | 3,5 | 4,5 | 3,9 |
| 3 (900) | 5,8 | 6,2 | 6,1 |
| 4 (1 500) | 15,8 | 15,1 | 15 |
| 5 (2 200) | 9,5 | 9,4 | 7,9 |
| 6 (3 000) | 13,4 | 13,1 | 12,9 |
| 7 (4 500) | 12 | 11,9 | 12 |
| 8 (6 000) | 7,2 | 7,2 | 7,6 |
| 9 (8 000) | 9,7 | 9,7 | 9,3 |
| 10 (11 000) | 8,6 | 8,6 | 9,1 |
| 11 (14 000) | 6,2 | 6,2 | 6,2 |
| 12 (20 000) | 7,8 | 7,8 | 8 |
Двенадцать магазинов: сырая доля, байесовская оценка и истина. Для малых магазинов сырая доля сильно отходит от истины, байесовская оценка ближе; среднеквадратичная ошибка по всем магазинам 0,65·10⁻⁴ против 0,32·10⁻⁴. По оси: номер магазина (число посетителей).
- P(B лучше A), %
- p-значение, %
Данные таблицей
| Показатель | P(B лучше A), % | p-значение, % |
|---|---|---|
| 100 | 72,2 | 52,7 |
| 200 | 81,3 | 37,1 |
| 300 | 86,5 | 27,3 |
| 500 | 91,7 | 15,7 |
| 800 | 96,5 | 7,3 |
| 1200 | 98,7 | 2,8 |
| 2000 | 99,9 | 0,5 |
Вероятность «B лучше A» и p-значение при росте выборки. При наблюдаемой разнице 8 → 10,6 % и 500 посетителях на вариант вероятность 92 % при p = 16 %; с ростом выборки при тех же долях вероятность стремится к 100 %, p-значение к нулю. По оси: посетителей на вариант.
- Плоский Beta(1, 1)
- Слабый (сила 10)
- Сети (оценка по магазинам)
Данные таблицей
| Показатель | Плоский Beta(1, 1) | Слабый (сила 10) | Сети (оценка по магазинам) |
|---|---|---|---|
| 20 | 9,85 | 6,71 | 8,18 |
| 100 | 6,7 | 6,07 | 7,45 |
| 500 | 6,01 | 5,89 | 6,47 |
| 2500 | 5,87 | 5,84 | 5,99 |
Чувствительность оценки к приору при одной и той же сырой доле. При n = 20 оценки с разными приорами различаются на 3,1 п. п., при n = 2 500 на 0,15 п. п.: чем больше данных, тем меньше значит приор. По оси: число посетителей; сырая доля 5,8 %.
Данные таблицей
| Показатель | Ширина интервала |
|---|---|
| Приор сети | 6,1 |
| Плоский приор | 8,7 |
| Уилсон | 8,7 |
Ширина 95 % интервала для нового магазина. Информативный приор даёт 6,1 п. п. против 8,7 у плоского и 8,7 у Уилсона: выигрыш в точности это цена допущения, что магазин похож на сеть.
Особенности по категориям
- Одежда
- Выкуп и конверсия различаются по подгруппам (верхняя одежда, трикотаж): приор строят по подгруппе, а не по всей категории; сезонные модели оценивают по аналогам прошлого сезона.
- Обувь
- Возвраты по размеру и полноте высоки и сильно разнятся по моделям: у новой модели малое число заказов, поэтому сжатие к приору категории обязательно; размеры оценивают внутри модели.
- Аксессуары
- Малое число продаж на SKU и много нулей: гамма-пуассоновская модель для скорости, приор по группе; решение о выводе позиции опирается на апостериорный интервал, а не на пару пустых недель.
- Детское
- Короткий сезон и размерные группы: данных на модель мало, приор по возрастной группе и по сезону прошлого года; обновление после каждой недели продаж.
- Мужское
- Спрос стабильнее, приоры уже и надёжнее, поэтому решение принимают раньше; для базовых позиций сжатие почти не меняет оценку при нормальной выборке.
- Женское
- Быстрая смена ассортимента, мало истории по модели и высокий разброс: байесовские оценки и предсказательные интервалы дают наибольшую пользу; приор строят по группе моделей и цвету.
Типичные ошибки
- Ставят рейтинг магазинов по сырым долям при разных n → вверху случайные малые выборки → сжатые оценки и интервалы рядом с рейтингом.
- Берут слишком сильный приор из чужой категории → оценка не реагирует на данные → приор из своей группы и проверка на слабом приоре.
- Скрывают приор и его силу → оценку нельзя воспроизвести и оспорить → версия и параметры приора хранятся рядом с оценкой.
- Читают вероятность «B лучше A» 92 % как доказанное различие → запуск без учёта цены ошибки → заранее заданные пороги вероятности и потери.
- Останавливают тест при первом удачном значении вероятности → завышенная уверенность → правило остановки и приор фиксируют до запуска.
Особенности России
- Ритейл: данные для приора по покупателям (карты, чеки с идентификатором) обрабатывают с правовым основанием и в обезличенном виде; оценкам по магазинам, моделям и дням личные данные не нужны. Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных» (проверка нормы не завершена).
- Возвраты и отказ от товара по дистанционной продаже регулирует закон о защите прав потребителей; пороги возвратов в модели это управленческие пороги, а не нормы, и права покупателя они не ограничивают. Норма: закон 2300-1 от 07.02.1992: Закон от 07.02.1992 № 2300-1 «О защите прав потребителей» (проверка нормы не завершена).