Точность прогноза по неделям: окно, смещение и ценность прогноза
По неделям прогноза и факта по SKU или группе считает ошибку WAPE и смещение за всё время и в скользящем окне, сигнал слежения, сравнение с наивным прогнозом (факт прошлой недели) и недели с ошибкой выше вашего допуска.
Коротко
- Какой вопрос решает расчёт?
- Насколько прогноз точен по неделям, смещён ли он и лучше ли простого повтора.
- Какие данные нужны?
- Прогноз и факт по неделям (лучше факт спроса).
- Как читать результат?
- На данных по умолчанию (10 недель) WAPE 11,0 %, смещение минус 0,5 %, сигнал слежения минус 0,4. В окне 4 недели WAPE 10,3 %, смещение минус 3,4 %. Наивный прогноз (факт прошлой недели) даёт WAPE 20,4 %, ценность прогноза 9,4 п. п.: прогноз заметно лучше простого повтора. Пример на значениях по умолчанию: WAPE за все недели: 11 %; Смещение за все недели: −0,5 %; WAPE в окне: 10,3 % · последние 4 нед.; Смещение в окне: −3,4 %. Цифры условные: введите свои, чтобы увидеть свой результат.
Зачем и как рассуждать
Прогноз полезен, только если он лучше простого правила, и надо знать, как именно он ошибается. WAPE это сумма абсолютных ошибок, делённая на сумму фактов: 115 из 1 045 штук, то есть 11 %. Он не даёт большим и малым позициям ошибиться «в разные стороны» и скрыть ошибку. Смещение показывает направление: сумма прогнозов 1 040 при факте 1 045 даёт минус 0,5 %, то есть небольшое занижение. Сигнал слежения — это накопленная ошибка в единицах средней ошибки: большое значение значит систематический перекос. Наконец, ценность прогноза (FVA) сравнивает с наивным правилом «как на прошлой неделе»: его WAPE 20,4 %, и прогноз лучше на 9,4 пункта. Если прогноз не лучше наивного, он не добавляет ценности.
Когда применять
Применяйте еженедельно для ключевых SKU или групп и после каждой смены метода прогноза. Не применяйте к рядам с большим числом нулей: для прерывистого спроса есть отдельный расчёт. Допущения: прогноз и факт сравниваются за одни периоды и в одних единицах, окно подбираете сами, допуск ошибки недели ваш. Хорошо подходит как еженедельная встреча по плану: одна страница показывает, где прогноз ошибается и в какую сторону.
Как читать результат
Смотрите на пары: WAPE за всё время (11 %) и в окне (10,3 %) показывают, ухудшается точность или улучшается. Смещение в окне минус 3,4 % говорит, что последние недели прогноз занижал: поднимите уровень. FVA +9,4 пункта подтверждает ценность метода. Самая большая ошибка (20 штук) и недели выше допуска указывают, где разбираться с причинами (акция, дефицит, сбой данных), а не менять модель. Если сигнал слежения далеко от нуля, ищите систематическую причину. Заведите правило: если FVA отрицателен две недели подряд, возвращайтесь к наивному прогнозу и ищите причину, пока модель не станет лучше.
Типичные ошибки
Типичная ловушка: считать ошибку к прогнозу вместо факта, сравнивать WAPE разных уровней агрегации (SKU и группа), брать продажи вместо спроса в период дефицита, игнорировать смещение, радуясь малой ошибке. Малая ошибка при смещении всё равно ведёт к лишнему или недостающему запасу. Не ругайте модель за ошибку недели с акцией, о которой прогноз не знал: сначала разметьте такие недели, иначе WAPE наказывает не то.
Какие данные нужны?
- Прогноз и факт по неделям (лучше факт спроса).
- Окно в неделях.
- Допуск недельной ошибки (по желанию).
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Окно, недель | нед. | 4 | Сколько последних недель берётся в скользящем показателе. Если недель в таблице меньше, берутся все. Значение примера условное. |
| Допустимая ошибка недели | % | — | Ошибка недели в процентах от её факта, выше которой неделя считается промахом. Своё значение: Единого норматива в РФ нет: введите свои данные. Необязательно. Пусто: поле не учитывается (в суммах считается нулём). |
Как считается
| Шаг | Формула |
|---|---|
| WAPE | сумма |прогноз − факт| ÷ сумма фактов |
| Смещение | (сумма прогнозов − сумма фактов) ÷ сумма фактов |
| Сигнал слежения | сумма ошибок ÷ среднее |ошибка| |
| FVA | WAPE наивного − WAPE прогноза, недели со второй |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- WAPE за все недели
- 11 %Сумма абсолютных ошибок ÷ сумма фактов.
- Смещение за все недели
- −0,5 %Плюс: прогноз завышен; минус: занижен.
- WAPE в окне
- 10,3 % · последние 4 нед.
- Смещение в окне
- −3,4 %
- Сигнал слежения
- −0,4 средних ошибокНакопленная ошибка ÷ среднее абсолютное отклонение; далеко от нуля значит систематическое смещение. Граница ваша: единого норматива нет.
- WAPE наивного прогноза
- 20,4 %Прогноз недели = факт прошлой недели; со второй недели.
- Ценность прогноза (FVA), п. п.
- 9,4WAPE наивного минус WAPE прогноза на тех же неделях: меньше нуля значит, что «прогноз» хуже простого повтора.
- Самая большая ошибка
- 20 · Неделя 3
- Недель выше допуска
- допуск не задан
Данные таблицей
| Показатель | WAPE |
|---|---|
| WAPE за все недели | 11 |
| WAPE в окне | 10,3 |
| WAPE наивного | 20,4 |
Скользящее окно по неделям
| Окно заканчивается | WAPE | Смещение |
|---|---|---|
| Неделя 4 | 11,6 % | 2,3 % |
| Неделя 5 | 11,4 % | −2,3 % |
| Неделя 6 | 12,2 % | 2,4 % |
| Неделя 7 | 9,3 % | −4,7 % |
| Неделя 8 | 11,4 % | 1,3 % |
| Неделя 9 | 10 % | 2,5 % |
| Неделя 10 | 10,3 % | −3,4 % |
Здесь окно по неделям и сравнение с наивным прогнозом; помесячное смещение, сигнал слежения по месяцам и баланс спроса и предложения: расчёт «S&OP: смещение прогноза, ошибка и баланс спроса и предложения». Единого норматива точности в РФ нет: пороги ваши.
Нюансы и ограничения
- Берите прогноз, сделанный до недели, а не пересчитанный.
- Продажи занижают спрос при нехватке товара.
- Окно короткое: на малых продажах ошибка шумит.
- Месячный S&OP и баланс спроса и предложения: расчёт «S&OP: смещение прогноза…».