Точность прогноза и ценность ИИ-прогноза: WAPE, смещение и FVA на ассортименте сезона
Документ показывает, как измерить точность прогноза спроса на сезон и понять, что в нём действительно работает: наивный повтор прошлого сезона, статистическая модель или ИИ, ручные правки на согласованиях. Решение, которое он поддерживает: доверять ли модели, где оставить ручную правку и сколько рублей теряется из-за ошибки в виде скидок на излишек и недополученной маржи.
Зачем этот документ
Прогноз часто называют «точным» или «неточным» одним числом, и никто не знает, какой шаг его улучшил, а какой испортил. Документ читают руководитель планирования, категорийный менеджер, финансовый директор и аналитик перед сезонным планом. Он разделяет прогноз на этапы, сравнивает их на одних группах и фактах и переводит ошибку в рубли. Это позволяет убрать шаг, который только отнимает время, и оставить ручную правку там, где за ней стоит новая информация, а не желание подстраховаться.
Коротко
- Что это за документ и зачем он нужен?
- Документ показывает, как измерить точность прогноза спроса на сезон и понять, что в нём действительно работает: наивный повтор прошлого сезона, статистическая модель или ИИ, ручные правки на согласованиях. Решение, которое он поддерживает: доверять ли модели, где оставить ручную правку и сколько рублей теряется из-за ошибки в виде скидок на излишек и недополученной маржи.
- Кто отвечает за документ и как часто его пересчитывать?
- Бренд: руководитель планирования или аналитик, после каждого сезона и каждую неделю в сезоне; решение по правилу правок принимает коммерческий директор. Ритейл: категорийная аналитика, еженедельно по категориям и кластерам магазинов; результат идёт на ежемесячное согласование плана и запаса.
- Какие ошибки встречаются чаще всего?
- Сравнивать прогнозы одного сезона с пересчитанным после сезона → модель выглядит лучше, чем была → фиксируйте прогнозы до сезона и храните версии. Считать ошибку только в целом → правка спасает одну группу и портит пять → считайте по группам и по этапам. Мерить в штуках, а не в рублях → дешёвая ошибка и дорогая выглядят одинаково → переводите перепрогноз и недопрогноз в деньги.
Для кого
- Бренд
- Бренд прогнозирует объём производства за месяцы до продаж, поэтому ошибка дорога: излишек превращается в остатки и скидки, нехватка в упущенные заказы без возможности быстро дошить. Прогноз строят по линиям и каналам (опт, собственные продажи, площадки), а книга предзаказов опта часто служит самым сильным сигналом.
- Ритейл
- Ритейл прогнозирует спрос по категориям и магазинам на недели вперёд и может пополнять запас, но срок поставки и выкладка ограничивают манёвр. Для ритейла важнее ошибка по кластерам магазинов и неделям, смещение в сторону завышения (перегруженные склады) и ценность прогноза на новых позициях и акциях.
Из чего состоит
Метрики и как их читать
- WAPE и смещение определены в термине «Ошибка прогноза (WAPE) и смещение»: метрика взвешена объёмом, поэтому большие группы значат больше мелких; здесь она сравнивает этапы одного сезона.
- Смещение показывает направление ошибки: плюс значит завышение, минус занижение; малая ошибка при большом смещении означает, что закупки систематически уходят в одну сторону.
- FVA (термин «Ценность прогноза»): плюс значит, что шаг добавил точность, минус значит, что он её отнял; ниже он считается по каждому шагу.
- Бренд: считайте метрики по линии и каналу отдельно: опт, собственные продажи и площадки имеют разную ошибку, общая цифра скрывает слабый канал.
- Ритейл: считайте метрики по категориям и кластерам магазинов и по неделям; ошибка по сети меньше ошибки по магазину, поэтому уровень агрегации записывайте рядом с числом.
Этапы прогноза и ценность каждого
- Три этапа на одних и тех же группах: наивный (повтор прошлого сезона или прошлой недели), модель (статистика или ИИ), итог после ручных правок и согласований; прогнозы фиксируют до сезона.
- Бренд: ручная правка оправдана, когда есть новая информация: крупный заказ опта, новый канал, изменение цены, дата запуска коллекции; «на всякий случай» её не вносят.
- Ритейл: ручная правка оправдана для акции, открытия или закрытия магазина, погоды и событий; для базового ассортимента модель обычно точнее экспертной оценки, и это проверяется FVA, а не мнением.
- ИИ-прогноз проходит ту же проверку: если он не лучше наивного на ваших данных, усложнять нечего; на новых позициях без истории его работа вне пределов метода, и правило там отдельное.
- Правка вносится с автором и причиной в журнале; через сезон по журналу видно, чьи правки добавляли ценность, и правило пересматривается.
Деньги ошибки
- Перепрогноз стоит скидки на излишек и хранения, недопрогноз стоит потерянной маржи; поэтому сравнивать этапы нужно и в процентах, и в рублях.
- Бренд: цена излишка включает остатки на складе и перенос в следующий сезон; цена нехватки учитывает невозможность быстро дошить партию и потерю предзаказа у партнёра.
- Ритейл: цена излишка включает деньги в запасе, трансфер между магазинами и скидку; цена нехватки это пустая полка и потеря посетителя, который может уйти к другому продавцу.
- Бренд: для опта считайте недопрогноз и по предзаказам, не только по продажам: невыполненный заказ портит условия следующего сезона.
- Ритейл: для акций считайте перепрогноз отдельно: провал после акции создаёт остаток, который не виден в обычной неделе.
Что закрепить на следующий сезон
- Бренд: заведите отдельную строку для книги предзаказов опта и сравните её с модельным прогнозом: если предзаказы точнее модели, используйте их как сигнал, а не как конкурента.
- Бренд: зафиксируйте правило перераспределения запаса между каналами внутри сезона: ошибка по каналам редко совпадает по знаку, и излишек одного покрывает нехватку другого.
- Ритейл: заведите отдельные строки для акций и новых магазинов: их прогноз строят отдельно, иначе ошибка акций искажает оценку базового ассортимента.
- Ритейл: сравнивайте точность по кластерам магазинов и по неделям: если ошибка падает к середине сезона, пополнение работает лучше первоначального заказа.
Откуда берутся данные
| Источник данных | Поля |
|---|---|
| Прогнозы, зафиксированные до сезона | наивный, модельный и итоговый по группам и неделям, дата фиксации, автор правки и причина |
| Факт продаж и спрос | продажи по тем же группам и неделям, дни без товара, акции и их даты |
| Цена и затраты | цена без НДС, себестоимость, средняя скидка распродажи, хранение, доля потерянного спроса |
Как собрать по шагам
- Шаг 1: Зафиксируйте три прогноза по группам до сезона: наивный, модельный, итоговый; запишите дату и автора.
- Шаг 2: Бренд: выберите группы по линиям и каналам, а не только по категориям; предзаказы опта выделите отдельной строкой.
- Шаг 3: Ритейл: выберите группы по категориям и кластерам магазинов; для новых магазинов и акций заведите отдельные строки.
- Шаг 4: После сезона соберите факт; если товар заканчивался, добавьте оценку спроса, иначе ошибка недопрогноза занижена.
- Шаг 5: Посчитайте WAPE и смещение каждого этапа и FVA шагов; сравните по группам, а не только в целом.
- Шаг 6: Переведите ошибку в рубли: цена единицы перепрогноза и недопрогноза; сравните этапы по деньгам.
- Шаг 7: Бренд: решите правило правок для опта и площадок: кто и при каких условиях вправе менять модельный прогноз.
- Шаг 8: Ритейл: решите правило для базового ассортимента и акций; для базового модель по умолчанию, правка требует причины.
- Шаг 9: Повторите сравнение в следующем сезоне и зафиксируйте, как изменились FVA шагов.
Формулы
| Показатель | Формулы | Пояснение |
|---|---|---|
| WAPE, смещение и FVA по этапам | Считаются по определениям из термина «Ошибка прогноза (WAPE) и смещение», термина «Ценность прогноза (FVA)» и расчёта «Точность прогноза по неделям» (fcdash); здесь они применены к трём этапам: наивный, модель, ручные правки | Объёмы в штуках, суммы по группам; FVA в процентных пунктах: меньше нуля значит, что шаг ухудшил прогноз. |
| Цена ошибки | Цена = перепрогноз × (цена × скидка + себестоимость × хранение) + недопрогноз × (цена − себестоимость) × доля потерянного | Перепрогноз и недопрогноз считаются по группам отдельно и не зачитываются друг против друга. |
Пример с числами
Шесть групп сезона: три прогноза против факта 6 140 штук; цена 6 000 ₽, себестоимость 2 400 ₽; все значения условные
| Группа | Факт, шт. | Наивный, % | Модель, % | Итог после правок, % | Лучший этап |
|---|---|---|---|---|---|
| Платья | 1 320 | 9,1 | 6,1 | 13,6 | Модель |
| Верхняя одежда | 780 | 15,4 | 5,1 | 10,3 | Модель |
| Трикотаж | 1 180 | 6,8 | 6,8 | 3,4 | Итог после правок |
| Брюки | 690 | 15,9 | 4,3 | 13,0 | Модель |
| Футболки и топы | 1 720 | 12,8 | 7,0 | 1,2 | Итог после правок |
| Аксессуары | 450 | 11,1 | 4,4 | 20,0 | Модель |
| Всего (WAPE) | 6 140 | 11,4 | 6,0 | 8,1 | Модель |
Ошибка наивного 11,4 %, модели 6,0 %, итога после правок 8,1 %: модель добавила 5,4 п. п., правки отняли 2,1 п. п., смещение итога 7,5 %. В рублях: цена ошибки наивного 1 811 040 ₽, модели 954 240 ₽, итога 1 340 640 ₽; правки добавили потерь 386 400 ₽ и в 4 группах из 6 итог оказался хуже модели. Расчёт: «Ценность прогноза по этапам и цена ошибки в рублях».
Рисунки
- WAPE
- Смещение по модулю
Данные таблицей
| Показатель | WAPE | Смещение по модулю |
|---|---|---|
| Наивный | 11,4 | 2,3 |
| Модель | 6 | 1,8 |
| Итог после правок | 8,1 | 7,5 |
Ошибка и смещение по этапам прогноза. Модель точнее наивного, а ручные правки вернули часть ошибки и добавили смещение вверх.
- рост
- снижение
- итог
Данные таблицей
| Шаг | Изменение | Уровень |
|---|---|---|
| Ошибка наивного | +1 811 | 1 811 |
| Что дала модель | −857 | 954 |
| Что добавили правки | +387 | 1 341 |
| Ошибка итога | — | 1 341 |
От цены ошибки наивного прогноза к цене ошибки итога. Модель убрала часть потерь, правки вернули её обратно: итог дороже модели.
Особенности по категориям
- Одежда
- Одежда: высокая сезонность и много цветов и размеров; прогноз удобнее вести по группам модель-цвет и дробить на размеры по размерной кривой; ошибка по размерам выше, чем по группам.
- Обувь
- Обувь: размерная сетка и колодка делают прогноз по размерам решающим; недопрогноз крайних размеров дороже, перепрогноз средних тоже; считайте ошибку отдельно по размерам.
- Аксессуары
- Аксессуары: размеров почти нет, спрос подарочный и импульсный; прогноз привязывают к календарю праздников; ошибка ниже, а излишек безопаснее, потому что срок хранения дольше.
- Детское
- Детское: рост-размер и школьный сезон; спрос привязан к датам и росту детей; ошибка прогноза размеров ведёт к быстрому неликвиду, поэтому цена перепрогноза выше.
- Мужское
- Мужское: спрос устойчивее, базовые модели повторяются из сезона в сезон; наивный прогноз часто силён, и ценность модели нужно проверять особенно внимательно.
- Женское
- Женское: больше новинок и трендовых позиций без истории; прогноз по аналогам и ручная оценка нужны чаще, поэтому важно мерить FVA отдельно по новинкам и по базе.
Типичные ошибки
- Сравнивать прогнозы одного сезона с пересчитанным после сезона → модель выглядит лучше, чем была → фиксируйте прогнозы до сезона и храните версии.
- Считать ошибку только в целом → правка спасает одну группу и портит пять → считайте по группам и по этапам.
- Мерить в штуках, а не в рублях → дешёвая ошибка и дорогая выглядят одинаково → переводите перепрогноз и недопрогноз в деньги.
- Брать факт продаж при нехватке товара → недопрогноз занижен, и модель кажется лучше → оценивайте спрос по дням в наличии.
- Верить любому «ИИ-прогнозу» без сравнения с наивным → дорогой инструмент не лучше простого → проверяйте FVA на своих данных.
Особенности России
- Бренд: нормы на прогноз нет, это управленческий показатель; для бухгалтерии итог сезона влияет на резерв под обесценение запасов (ФСБУ 5/2019): излишек, не проданный по цене выше себестоимости, требует оценки. Норма: приказ 180н от 15.11.2019: Приказ Минфина от 15.11.2019 № 180н (ФСБУ 5/2019 «Запасы»).
- Ритейл: НДС и маркировка не меняют метрик, но цена в расчёте берётся без НДС, а излишек остатков с кодами маркировки нужно продать в срок обращения остатков (проверьте действующие сроки). Норма: постановление 2129 от 25.12.2025: Постановление Правительства от 25.12.2025 № 2129 (изменения в ПП № 1956; четвёртая волна маркировки) (проверка нормы не завершена).
- Для ИИ-сервисов персональные данные покупателей в обучении модели подпадают под закон о персональных данных; обезличивайте продажи до передачи сервису и проверьте условия договора (проверьте). Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных» (проверка нормы не завершена).