Проверка прогноза с ИИ против наивной базовой линии: WAPE, смещение, улучшение, доля периодов и выгода за вычетом затрат
По ряду фактических продаж и прогнозу с ИИ за те же прошлые периоды строит наивный прогноз (значение периода t − сдвиг: прошлая неделя или тот же период прошлого сезона) и сравнивает с ним. Считает WAPE и смещение прогноза ИИ и наивного, улучшение против базовой линии, долю периодов, где ИИ точнее, проходит ли порог улучшения, сэкономленную ошибку в штуках и выгоду в деньгах за вычетом затрат на инструмент. Отвечает, стоит ли доверять ИИ-прогнозу больше, чем простому правилу. Прогноз должен быть сделан до факта, а не подогнан; данные по умолчанию условные.
Коротко
- Какой вопрос решает расчёт?
- Точнее ли прогноз с ИИ простого правила «как в прошлый период», на сколько, в скольких периодах и окупается ли это после затрат на инструмент. WAPE и смещение считаются по определениям расчёта «Точность прогноза по неделям» (fcdash).
- Какие данные нужны?
- Фактические продажи по периодам за прошлое.
- Как читать результат?
- Пример на значениях по умолчанию (12 недель, куртка-рубашка): сравнивается 11 недель; WAPE ИИ 12,1 %, наивного 14,4 %; улучшение 15,8 % при пороге 10 %; смещение ИИ 0,3 %; ИИ точнее в 81,8 % недель; сэкономленная ошибка 34 шт., выгода 20 400 ₽, итог после затрат 400 ₽. Пример на значениях по умолчанию: Сравниваемых периодов: 11; WAPE прогноза ИИ: 12,1 %; WAPE наивного прогноза: 14,4 %; Ошибка ИИ к ошибке наивного: 0,84. Цифры условные: введите свои, чтобы увидеть свой результат.
Зачем и как рассуждать
Простое правило «как на прошлой неделе» бесплатно и часто сильное, поэтому ИИ оценивают не по абсолютной точности, а по выигрышу против него. Расчёт строит наивный прогноз из фактов (значение периода t минус сдвиг) и сравнивает с прогнозом ИИ на тех же периодах. WAPE это сумма абсолютных ошибок, делённая на сумму фактических продаж. На значениях по умолчанию за 11 сравниваемых недель WAPE ИИ 12,1 %, наивного 14,4 %, отношение ошибок 0,84, то есть улучшение 15,8 %. ИИ точнее в 82 % недель, смещение у него 0,3 %. Сэкономленная ошибка 34 шт. при цене ошибки 600 ₽ даёт 20 400 ₽, затраты на инструмент 20 000 ₽, итог 400 ₽: порог улучшения в 10 % пройден, но выгода почти равна затратам.
Когда применять
Применяйте перед внедрением ИИ-прогноза и при регулярной проверке уже работающего: прогноз должен быть сделан до периода, без заглядывания в будущее. Нужно хотя бы несколько периодов после сдвига, лучше больше. Расчёт не проверяет причины ошибки и не заменяет проверку данных. Для обуви и аксессуаров с малыми продажами по артикулу сравнивайте на уровне категории, для детского берите сдвиг, равный длине сезона.
Как читать результат
Смотрите на улучшение против базовой линии и на порог: 15,8 % выше 10 %, значит ИИ обыгрывает правило. Затем на долю периодов (82 %) и смещение (0,3 %): прогноз без смещения закупки не перекашивает. Потом на деньги: итог 400 ₽ за 12 недель это не повод расширять применение, а повод проверить ещё сезон и посчитать полную стоимость, включая подготовку данных и проверку человеком. Если улучшение ниже порога, оставьте простое правило и ищите причину в данных, горизонте и подгонке, а не меняйте метод наугад.
Типичные ошибки
Проверяют на данных, на которых модель настраивали, или подгоняют прогноз под факт. Берут мало периодов: одна удачная неделя меняет вывод. Смотрят на среднюю ошибку и не смотрят на смещение. Не считают затраты на подготовку данных и проверку человеком. Оценивают ИИ без базовой линии и принимают красивую цифру за результат.
Какие данные нужны?
- Фактические продажи по периодам за прошлое.
- Прогноз ИИ, сделанный до каждого периода, без подгонки под факт.
- Цена ошибки в одну единицу и затраты на инструмент за горизонт.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Сдвиг наивного прогноза | периодов | 1 | На сколько периодов назад смотрит наивное правило: 1 это прошлая неделя; для сезонного ряда берите длину сезонного цикла. Значение примера условное. |
| Требуемое улучшение против базовой линии | % | 10 | На сколько процентов ошибка ИИ должна быть меньше ошибки наивного правила, чтобы использовать ИИ; порог задаёт ваша политика. Значение примера условное. |
| Цена ошибки в одну единицу | ₽ | 600 | Сколько в среднем стоит одна единица ошибки прогноза: упущенная маржа при нехватке или стоимость хранения и снижения цены при избытке. Ваша оценка. Значение примера условное. |
| Затраты на инструмент за горизонт | ₽ | 20 000 | Подписка, разработка и время специалиста за проверяемый горизонт. Значение примера условное. |
Как считается
| Шаг | Формула |
|---|---|
| Наивный прогноз | значение периода t − сдвиг; сравниваются периоды после сдвига |
| WAPE | Σ|прогноз − факт| ÷ Σ факт |
| Смещение | Σ(прогноз − факт) ÷ Σ факт |
| Улучшение | 1 − WAPE ИИ ÷ WAPE наивного; сравнить с порогом |
| Выгода | (ошибка наивного − ошибка ИИ) × цена ошибки − затраты на инструмент |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Сравниваемых периодов
- 11
- WAPE прогноза ИИ
- 12,1 %
- WAPE наивного прогноза
- 14,4 %
- Ошибка ИИ к ошибке наивного
- 0,84Меньше единицы: ИИ точнее простого правила; больше: хуже.
- Улучшение против базовой линии
- 15,8 %
- Смещение ИИ
- 0,3 %Плюс: прогноз завышает продажи, минус: занижает.
- Смещение наивного
- −0,3 %
- Периодов, где ИИ точнее
- 81,8 %
- Порог улучшения пройден: да (1) или нет (0)
- 1
- Сэкономленная ошибка, шт.
- 34
- Выгода в деньгах
- 20 400 ₽
- Итог за вычетом затрат на инструмент
- 400 ₽
- Факт
- Прогноз ИИ
- Наивный
Данные таблицей
| Период | Факт | Прогноз ИИ | Наивный |
|---|---|---|---|
| Неделя 2 | 95 | 85 | 80 |
| Неделя 3 | 110 | 98 | 95 |
| Неделя 4 | 140 | 116 | 110 |
| Неделя 5 | 170 | 146 | 140 |
| Неделя 6 | 190 | 172 | 170 |
| Неделя 7 | 185 | 201 | 190 |
| Неделя 8 | 160 | 178 | 185 |
| Неделя 9 | 140 | 156 | 160 |
| Неделя 10 | 120 | 134 | 140 |
| Неделя 11 | 100 | 114 | 120 |
| Неделя 12 | 85 | 100 | 100 |
Данные таблицей
| Показатель | WAPE, % |
|---|---|
| ИИ | 12,1 |
| Наивный | 14,4 |
Ошибка по периодам
| Период | Факт | Прогноз ИИ | Наивный | Ошибка ИИ | Ошибка наивного |
|---|---|---|---|---|---|
| Неделя 2 | 95 | 85 | 80 | 10 | 15 |
| Неделя 3 | 110 | 98 | 95 | 12 | 15 |
| Неделя 4 | 140 | 116 | 110 | 24 | 30 |
| Неделя 5 | 170 | 146 | 140 | 24 | 30 |
| Неделя 6 | 190 | 172 | 170 | 18 | 20 |
| Неделя 7 | 185 | 201 | 190 | 16 | 5 |
| Неделя 8 | 160 | 178 | 185 | 18 | 25 |
| Неделя 9 | 140 | 156 | 160 | 16 | 20 |
| Неделя 10 | 120 | 134 | 140 | 14 | 20 |
| Неделя 11 | 100 | 114 | 120 | 14 | 20 |
| Неделя 12 | 85 | 100 | 100 | 15 | 15 |
Расчёт: наивное правило бесплатно и часто сильное, поэтому ИИ оценивают не по абсолютной точности, а по улучшению против него. Проверка честна только если прогноз сделан до периода, на данных без заглядывания в будущее; прогноз, подогнанный под факт, даёт красивую и бесполезную цифру. Мало периодов дают шумную оценку: смотрите на долю периодов и на смещение, а не только на среднее. Для обуви и аксессуаров с малыми продажами по артикулу сравнивайте на уровне категории, для детского учитывайте сезонный сдвиг и сдвиг, равный длине сезона.
Нюансы и ограничения
- Оценивать ИИ по абсолютной ошибке без сравнения с простым правилом: красивая цифра может быть слабее бесплатной базовой линии.
- Проверять на данных, на которых ИИ обучали или подгоняли: ошибка занижена.
- Брать мало периодов: оценка шумит, одна удачная неделя меняет вывод.