Syntha Lab EN

Проверка прогноза с ИИ против наивной базовой линии: WAPE, смещение, улучшение, доля периодов и выгода за вычетом затрат

По ряду фактических продаж и прогнозу с ИИ за те же прошлые периоды строит наивный прогноз (значение периода t − сдвиг: прошлая неделя или тот же период прошлого сезона) и сравнивает с ним. Считает WAPE и смещение прогноза ИИ и наивного, улучшение против базовой линии, долю периодов, где ИИ точнее, проходит ли порог улучшения, сэкономленную ошибку в штуках и выгоду в деньгах за вычетом затрат на инструмент. Отвечает, стоит ли доверять ИИ-прогнозу больше, чем простому правилу. Прогноз должен быть сделан до факта, а не подогнан; данные по умолчанию условные.

Итоги сезона: бренд, категория, артикул Для кого: Аналитикам, планировщикам, руководителям данных и собственникам, которые решают, внедрять ли ИИ-прогноз спроса вместо простого правила.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Точнее ли прогноз с ИИ простого правила «как в прошлый период», на сколько, в скольких периодах и окупается ли это после затрат на инструмент. WAPE и смещение считаются по определениям расчёта «Точность прогноза по неделям» (fcdash).
Какие данные нужны?
Фактические продажи по периодам за прошлое.
Как читать результат?
Пример на значениях по умолчанию (12 недель, куртка-рубашка): сравнивается 11 недель; WAPE ИИ 12,1 %, наивного 14,4 %; улучшение 15,8 % при пороге 10 %; смещение ИИ 0,3 %; ИИ точнее в 81,8 % недель; сэкономленная ошибка 34 шт., выгода 20 400 ₽, итог после затрат 400 ₽. Пример на значениях по умолчанию: Сравниваемых периодов: 11; WAPE прогноза ИИ: 12,1 %; WAPE наивного прогноза: 14,4 %; Ошибка ИИ к ошибке наивного: 0,84. Цифры условные: введите свои, чтобы увидеть свой результат.

Зачем и как рассуждать

Простое правило «как на прошлой неделе» бесплатно и часто сильное, поэтому ИИ оценивают не по абсолютной точности, а по выигрышу против него. Расчёт строит наивный прогноз из фактов (значение периода t минус сдвиг) и сравнивает с прогнозом ИИ на тех же периодах. WAPE это сумма абсолютных ошибок, делённая на сумму фактических продаж. На значениях по умолчанию за 11 сравниваемых недель WAPE ИИ 12,1 %, наивного 14,4 %, отношение ошибок 0,84, то есть улучшение 15,8 %. ИИ точнее в 82 % недель, смещение у него 0,3 %. Сэкономленная ошибка 34 шт. при цене ошибки 600 ₽ даёт 20 400 ₽, затраты на инструмент 20 000 ₽, итог 400 ₽: порог улучшения в 10 % пройден, но выгода почти равна затратам.

Когда применять

Применяйте перед внедрением ИИ-прогноза и при регулярной проверке уже работающего: прогноз должен быть сделан до периода, без заглядывания в будущее. Нужно хотя бы несколько периодов после сдвига, лучше больше. Расчёт не проверяет причины ошибки и не заменяет проверку данных. Для обуви и аксессуаров с малыми продажами по артикулу сравнивайте на уровне категории, для детского берите сдвиг, равный длине сезона.

Как читать результат

Смотрите на улучшение против базовой линии и на порог: 15,8 % выше 10 %, значит ИИ обыгрывает правило. Затем на долю периодов (82 %) и смещение (0,3 %): прогноз без смещения закупки не перекашивает. Потом на деньги: итог 400 ₽ за 12 недель это не повод расширять применение, а повод проверить ещё сезон и посчитать полную стоимость, включая подготовку данных и проверку человеком. Если улучшение ниже порога, оставьте простое правило и ищите причину в данных, горизонте и подгонке, а не меняйте метод наугад.

Типичные ошибки

Проверяют на данных, на которых модель настраивали, или подгоняют прогноз под факт. Берут мало периодов: одна удачная неделя меняет вывод. Смотрят на среднюю ошибку и не смотрят на смещение. Не считают затраты на подготовку данных и проверку человеком. Оценивают ИИ без базовой линии и принимают красивую цифру за результат.

Какие данные нужны?

  • Фактические продажи по периодам за прошлое.
  • Прогноз ИИ, сделанный до каждого периода, без подгонки под факт.
  • Цена ошибки в одну единицу и затраты на инструмент за горизонт.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Сдвиг наивного прогнозапериодов1На сколько периодов назад смотрит наивное правило: 1 это прошлая неделя; для сезонного ряда берите длину сезонного цикла. Значение примера условное.
Требуемое улучшение против базовой линии%10На сколько процентов ошибка ИИ должна быть меньше ошибки наивного правила, чтобы использовать ИИ; порог задаёт ваша политика. Значение примера условное.
Цена ошибки в одну единицу₽600Сколько в среднем стоит одна единица ошибки прогноза: упущенная маржа при нехватке или стоимость хранения и снижения цены при избытке. Ваша оценка. Значение примера условное.
Затраты на инструмент за горизонт₽20 000Подписка, разработка и время специалиста за проверяемый горизонт. Значение примера условное.

Как считается

ШагФормула
Наивный прогноззначение периода t − сдвиг; сравниваются периоды после сдвига
WAPEΣ|прогноз − факт| ÷ Σ факт
СмещениеΣ(прогноз − факт) ÷ Σ факт
Улучшение1 − WAPE ИИ ÷ WAPE наивного; сравнить с порогом
Выгода(ошибка наивного − ошибка ИИ) × цена ошибки − затраты на инструмент

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Сравниваемых периодов
11
WAPE прогноза ИИ
12,1 %
WAPE наивного прогноза
14,4 %
Ошибка ИИ к ошибке наивного
0,84Меньше единицы: ИИ точнее простого правила; больше: хуже.
Улучшение против базовой линии
15,8 %
Смещение ИИ
0,3 %Плюс: прогноз завышает продажи, минус: занижает.
Смещение наивного
−0,3 %
Периодов, где ИИ точнее
81,8 %
Порог улучшения пройден: да (1) или нет (0)
1
Сэкономленная ошибка, шт.
34
Выгода в деньгах
20 400 ₽
Итог за вычетом затрат на инструмент
400 ₽
Факт, прогноз ИИ и наивный прогноз
Линейный график: Факт: 95 → 85; Прогноз ИИ: 85 → 100; Наивный: 80 → 10050100150200250Неделя 2Неделя 5Неделя 8Неделя 11Факт, Неделя 2: 95Факт, Неделя 3: 110Факт, Неделя 4: 140Факт, Неделя 5: 170Факт, Неделя 6: 190Факт, Неделя 7: 185Факт, Неделя 8: 160Факт, Неделя 9: 140Факт, Неделя 10: 120Факт, Неделя 11: 100Факт, Неделя 12: 85Прогноз ИИ, Неделя 2: 85Прогноз ИИ, Неделя 3: 98Прогноз ИИ, Неделя 4: 116Прогноз ИИ, Неделя 5: 146Прогноз ИИ, Неделя 6: 172Прогноз ИИ, Неделя 7: 201Прогноз ИИ, Неделя 8: 178Прогноз ИИ, Неделя 9: 156Прогноз ИИ, Неделя 10: 134Прогноз ИИ, Неделя 11: 114Прогноз ИИ, Неделя 12: 100Наивный, Неделя 2: 80Наивный, Неделя 3: 95Наивный, Неделя 4: 110Наивный, Неделя 5: 140Наивный, Неделя 6: 170Наивный, Неделя 7: 190Наивный, Неделя 8: 185Наивный, Неделя 9: 160Наивный, Неделя 10: 140Наивный, Неделя 11: 120Наивный, Неделя 12: 100шт.Период
  • Факт
  • Прогноз ИИ
  • Наивный
Данные таблицей
ПериодФактПрогноз ИИНаивный
Неделя 2958580
Неделя 31109895
Неделя 4140116110
Неделя 5170146140
Неделя 6190172170
Неделя 7185201190
Неделя 8160178185
Неделя 9140156160
Неделя 10120134140
Неделя 11100114120
Неделя 1285100100
Ошибка WAPE: ИИ и наивный, %
Столбчатая диаграмма: ИИ 12,1, Наивный 14,4051015ИИИИWAPE, %: 12,112,1НаивныйНаивныйWAPE, %: 14,414,4%
Данные таблицей
ПоказательWAPE, %
ИИ12,1
Наивный14,4

Ошибка по периодам

ПериодФактПрогноз ИИНаивныйОшибка ИИОшибка наивного
Неделя 29585801015
Неделя 311098951215
Неделя 41401161102430
Неделя 51701461402430
Неделя 61901721701820
Неделя 7185201190165
Неделя 81601781851825
Неделя 91401561601620
Неделя 101201341401420
Неделя 111001141201420
Неделя 12851001001515

Расчёт: наивное правило бесплатно и часто сильное, поэтому ИИ оценивают не по абсолютной точности, а по улучшению против него. Проверка честна только если прогноз сделан до периода, на данных без заглядывания в будущее; прогноз, подогнанный под факт, даёт красивую и бесполезную цифру. Мало периодов дают шумную оценку: смотрите на долю периодов и на смещение, а не только на среднее. Для обуви и аксессуаров с малыми продажами по артикулу сравнивайте на уровне категории, для детского учитывайте сезонный сдвиг и сдвиг, равный длине сезона.

Нюансы и ограничения

  • Оценивать ИИ по абсолютной ошибке без сравнения с простым правилом: красивая цифра может быть слабее бесплатной базовой линии.
  • Проверять на данных, на которых ИИ обучали или подгоняли: ошибка занижена.
  • Брать мало периодов: оценка шумит, одна удачная неделя меняет вывод.

Термины расчёта

Посчитать на своих данных →