ИИ в моде и аналитике: где применять, где нет, как проверять результат, какие нужны данные и какие бывают ошибки. Памятка и чек-лист
Памятка о границах применимости ИИ для бренда и ритейла: на каких задачах он помогает, на каких опасен, как проверить результат против простого правила, какие данные нужны и какие ошибки встречаются чаще всего. Документ решает, внедрять ли ИИ на конкретной задаче, как организовать пилот с базовой линией и пороговым улучшением и когда остановить использование. В нём нет обещаний эффекта: только порядок проверки, пример на числах и чек-лист.
Зачем этот документ
ИИ выглядит убедительно даже там, где ошибается: уверенный текст, красивый график, точный на вид прогноз. Поэтому его принимают по впечатлению, а не по проверке, и ошибка доходит до цены, закупки или клиента. Документ читают собственник, руководитель данных, аналитик, планировщик и руководитель контента при выборе задач для ИИ и при запуске пилота. Он даёт простое правило: сравнивать с бесплатной базовой линией, проверять на данных, которых модель не видела, и учитывать полную стоимость, включая подготовку данных и проверку человеком.
Коротко
- Что это за документ и зачем он нужен?
- Памятка о границах применимости ИИ для бренда и ритейла: на каких задачах он помогает, на каких опасен, как проверить результат против простого правила, какие данные нужны и какие ошибки встречаются чаще всего. Документ решает, внедрять ли ИИ на конкретной задаче, как организовать пилот с базовой линией и пороговым улучшением и когда остановить использование. В нём нет обещаний эффекта: только порядок проверки, пример на числах и чек-лист.
- Кто отвечает за документ и как часто его пересчитывать?
- Руководитель данных или аналитики ведёт реестр задач с ИИ и проверки, владелец процесса отвечает за результат и остановку, юрист проверяет данные и права; пересмотр при каждой новой задаче и раз в квартал по метрикам.
- Какие ошибки встречаются чаще всего?
- Бренд: ИИ принимают по впечатлению от красивого результата → внедряют то, что слабее бесплатного правила → всегда сравнивайте с базовой линией и записывайте порог улучшения заранее. Бренд: в публичный сервис загружают техописания, цены и контакты фабрик → утечка коммерческой информации → используйте закрытые решения или обезличивайте данные и закрепите правила в политике. Ритейл: ответ клиенту от ИИ отправляют без проверки → в ответе неверные условия возврата или цена → проверяйте условия и цены по справочникам и храните журнал ответов.
Для кого
- Бренд
- Бренд применяет ИИ в описаниях и изображениях, тегировании каталога, прогнозе спроса по артикулам и поддержке клиентов: ему важны права на изображения, защита технической документации и закупочных цен и проверка прогноза до заказа у фабрики.
- Ритейл
- Ритейлер применяет ИИ в прогнозе и пополнении, рекомендациях, ответах клиентам и анализе отзывов: ему важны персональные данные клиентов, ответственность за ответ перед покупателем и проверка прогноза пополнения на уровне магазина и категории.
Из чего состоит
Где ИИ помогает
- ИИ полезен там, где есть данные и опыт, а ошибка недорога или легко видна. Примеры: черновики описаний и ответов, тегирование и поиск по фото товара, извлечение данных из документов и накладных, группировка отзывов по темам, идеи для мудбордов, прогноз спроса по большому числу рядов с историей.
- Он ускоряет рутину, но не заменяет ответственного: результат это черновик, который проверяет человек. Выигрыш измеряют временем и ошибками на конкретной задаче до и после, а не общим впечатлением.
- Бренд: используйте ИИ для черновиков карточек, тегирования каталога по фото и первичной группировки отзывов, а цены, составы и размеры подставляйте из справочников, а не из текста модели.
- Ритейл: используйте ИИ для прогноза пополнения по большому числу артикулов и магазинов, группировки обращений клиентов и поиска расхождений в данных, оставляя решение о заказе человеку с порогом согласования.
Где ИИ не применять или применять с жёстким контролем
- Не доверяйте ИИ расчёты денег, налогов и цен без проверки формулой: он может ошибиться в арифметике и уверенно объяснить неверный результат. Считайте по формуле в расчёте, а ИИ используйте для пояснения.
- Юридические и нормативные выводы ИИ может выдумать: номер закона, срок, штраф. Любую норму проверяйте в тексте закона и у юриста; в Lab такие факты помечены «проверьте» именно поэтому.
- Прогноз для нового артикула без истории ИИ строит по аналогам, и качество зависит от выбора аналогов: это гипотеза для теста, а не заказ. Решения о людях и персональных данных без правового основания и проверки не принимаются.
- Бренд: не загружайте в публичные сервисы технические описания, закупочные цены, контакты фабрик и неопубликованные коллекции: это коммерческая тайна; используйте закрытые решения или обезличивайте данные.
- Ритейл: ответ клиенту, сформированный ИИ, это ответ компании: проверяйте условия возврата, сроки и цены перед отправкой и не отдавайте персональные данные клиентов сервису без основания и договора.
Как проверять результат
- Базовая линия: сравнивайте ИИ с простым бесплатным правилом (как в прошлый период, как в тот же период прошлого сезона). Метод без выигрыша у базовой линии не нужен, как бы он ни выглядел. Выигрыш считают как единицу минус ошибка ИИ, делённая на ошибку базовой линии.
- Отложенные данные: проверяйте на периодах, которых модель не видела при настройке, а прогноз фиксируйте до факта. Подгонка под известный факт даёт красивую и бесполезную цифру. Смотрите не только на среднюю ошибку, но и на смещение (завышает или занижает) и на долю периодов, где ИИ точнее.
- Для текстов и картинок: золотой набор из заранее известных ответов, ручная выборка (проверка заданного числа результатов человеком), повторяемость (одинаковые ли выводы при том же запросе) и чувствительность к формулировке. Любой факт в тексте сверяйте с источником данных.
- Бренд: перед заказом у фабрики по прогнозу с ИИ сравните его с наивным правилом на прошлом сезоне и запишите порог улучшения, при котором прогноз используется; ниже порога остаётся простое правило.
- Ритейл: проверяйте прогноз пополнения на уровне магазина и категории раздельно: точный в среднем по сети прогноз может быть плох по отдельным магазинам и размерам.
Данные и типовые ошибки
- Продажи не равны спросу: при дефиците товара или закрытой точке спрос не виден. Дубли, пропуски, смена кодов артикулов, акции и разовые заказы искажают ряд; перед обучением очистите данные и отметьте периоды дефицита и акций.
- Типовые ошибки: утечка будущего (в обучение попали данные, которых на момент прогноза не было), подгонка под историю, дрейф (поведение покупателей изменилось, а модель нет), смещённая выборка, выдуманные факты в текстах и излишняя уверенность. Против каждой есть проверка: отложенные данные, мониторинг ошибки по неделям, ручная выборка.
- Бренд: заведите реестр задач с ИИ: что делает, на каких данных, кто отвечает, какая метрика и порог остановки; без реестра никто не знает, что работает и сколько стоит.
- Ритейл: мониторьте ошибку прогноза по неделям и по группам магазинов и останавливайте использование, когда ошибка выходит за порог; возвращайтесь к простому правилу, пока причина не найдена.
Чек-лист пилота
- Перед запуском: задача и решение, которое она поддерживает, названы; есть данные и их владелец; определена базовая линия; задан порог улучшения; оценена цена ошибки; проверены права на данные и изображения; определён ответственный и порог остановки.
- В работе: результат сравнивается с базовой линией на отложенных данных; ведётся ручная выборка; ошибка и смещение отслеживаются по неделям; журнал запросов и версий хранится; персональные и коммерческие данные не уходят в публичные сервисы.
- После: выгода считается в деньгах за вычетом полной стоимости (подписка, подготовка данных, проверка человеком); решение: расширить, оставить, остановить; выводы записаны в реестр.
Откуда берутся данные
| Источник данных | Поля |
|---|---|
| Исторические продажи и остатки | продажи по артикулам и периодам, отметки дефицита и акций, смены кодов, цены и календарь |
| Прогноз и версии модели | прогноз, сделанный до периода, дата и версия, параметры, горизонт |
| Базовая линия и метрики | наивный прогноз, WAPE, смещение, доля периодов, порог улучшения |
| Журнал использования | запросы и ответы, ручная выборка и замечания, стоимость, ответственный, решения об остановке |
Как собрать по шагам
- Шаг 1: Бренд: выберите задачу, назовите решение, которое она поддерживает, и цену ошибки; задачи без решения для ИИ не берите.
- Шаг 2: Проверьте матрицу пригодности: есть ли данные и опыт, недорога ли ошибка, можно ли проверить результат.
- Шаг 3: Подготовьте данные: очистите дубли и пропуски, отметьте дефицит и акции, проверьте права и персональные данные.
- Шаг 4: Определите базовую линию и порог улучшения до начала пилота и запишите их.
- Шаг 5: Сделайте прогноз до факта и сравните с базовой линией на отложенных периодах: WAPE, смещение, доля периодов.
- Шаг 6: Ритейл: проверьте результат на уровне магазина и категории раздельно и добавьте ручную выборку ответов, если это тексты.
- Шаг 7: Посчитайте выгоду в деньгах за вычетом полной стоимости и сравните с порогом; решите: расширить, оставить или остановить.
- Шаг 8: Ритейл: настройте мониторинг ошибки по неделям и порог остановки, назначьте ответственного.
- Шаг 9: Бренд: внесите задачу в реестр с метрикой, стоимостью и датой следующей проверки.
Формулы
| Показатель | Формулы | Пояснение |
|---|---|---|
| WAPE и смещение | Определения WAPE и смещения даны один раз: в термине «Ошибка прогноза (WAPE) и смещение» и в расчёте «Точность прогноза по неделям» (fcdash); здесь они считаются по тем же периодам для ИИ и для наивного правила | Плюс в смещении завышает продажи, минус занижает. |
| Улучшение против базовой линии | Улучшение = 1 − WAPE ИИ ÷ WAPE наивного | Сравнивается с порогом, который задаёт политика. |
| Выгода | Выгода = (ошибка наивного − ошибка ИИ) × цена ошибки единицы − затраты на инструмент | Затраты включают подготовку данных и проверку человеком. |
Формулы в записи
- Улучшение и выгода
I = 1 − WAPE_ai / WAPE_naive, G = (E_naive − E_ai) · c − K
E: суммарная абсолютная ошибка в штуках; c: цена ошибки одной единицы; K: затраты на инструмент за горизонт; метод берут, если I не ниже порога и G > 0.
Пример с числами
Условная проверка прогноза спроса на куртку-рубашку: 12 недель, ИИ против правила «как на прошлой неделе»
| Показатель | ИИ | Наивное правило |
|---|---|---|
| Сравниваемых недель | 11 | 11 |
| Суммарная ошибка, шт. | 181 | 215 |
| WAPE, % | 12,1 | 14,4 |
| Смещение, % | 0,3 | −0,3 |
| Недель, где метод точнее | 9 | 2 |
| Улучшение против правила, % | 15,8 | — |
| Выгода (34 шт. × 600 ₽) и итог после 20 000 ₽ затрат, ₽ | 20 400 / 400 | — |
Условные данные. Улучшение 16 % проходит порог 10 %, но выгода почти равна затратам: итог около 400 ₽ за 12 недель. Это повод не расширять применение, а проверить ещё один сезон и стоимость подготовки данных. Ничья в одну неделю считается за правило.
Рисунки
- Факт
- Прогноз ИИ
- Наивное правило
Данные таблицей
| Показатель | Факт | Прогноз ИИ | Наивное правило |
|---|---|---|---|
| Н2 | 95 | 85 | 80 |
| Н3 | 110 | 98 | 95 |
| Н4 | 140 | 116 | 110 |
| Н5 | 170 | 146 | 140 |
| Н6 | 190 | 172 | 170 |
| Н7 | 185 | 201 | 190 |
| Н8 | 160 | 178 | 185 |
| Н9 | 140 | 156 | 160 |
| Н10 | 120 | 134 | 140 |
| Н11 | 100 | 114 | 120 |
| Н12 | 85 | 100 | 100 |
Факт, прогноз ИИ и наивное правило по неделям. Наивное правило отстаёт на подъёме и на спаде спроса; ИИ ошибается меньше, но на пике завышает продажи.
Данные таблицей
| Показатель | WAPE, % |
|---|---|
| ИИ | 12,1 |
| Наивное правило | 14,4 |
Ошибка WAPE: ИИ и наивное правило. ИИ точнее на 2,3 п. п., это улучшение 16 % против правила; вопрос в том, окупает ли это затраты.
- 0 … 1 0 или 1
Данные таблицей
| Есть данные и опыт | Ошибка недорога | Результат проверяем | |
|---|---|---|---|
| Черновик описания товара | 1 | 1 | 0 |
| Тегирование и поиск по фото товара | 1 | 1 | 1 |
| Прогноз спроса по артикулам с историей | 1 | 0 | 1 |
| Прогноз для нового артикула без истории | 0 | 0 | 0 |
| Юридический или налоговый вывод | 0 | 0 | 0 |
| Черновик ответа клиенту | 1 | 1 | 0 |
| Автоподбор цены без экономики | 1 | 0 | 0 |
Пригодность задач для ИИ: условная оценка по трём вопросам. 1 значит «да», 0 «нет» по каждому вопросу; чем больше единиц, тем меньше риск. Оценка суждение, а не измерение: подставьте свои ответы.
Пилот ИИ: от задачи до решения. Базовая линия и порог задаются до пилота; решение принимается по отложенным данным и стоимости.
- Задача и решение → Данные и права
- Данные и права → Базовая линия и порог
- Базовая линия и порог → Тест на отложенных данных
- Тест на отложенных данных → Выгода за вычетом затрат
- Выгода за вычетом затрат → Расширить, оставить, остановить
- Расширить, оставить, остановить
Особенности по категориям
- Одежда
- Одежда: ИИ полезен в тегировании каталога по фото и прогнозе по артикулам с историей; новинки без истории прогнозируйте по аналогам как гипотезу, а размерную сетку проверяйте отдельно, потому что ошибка по размерам даёт и дефицит, и остаток.
- Обувь
- Обувь: главная ошибка размеры и колодки: подсказки по размеру на основе ИИ снижают возвраты только при проверке на данных возвратов; прогноз по размерному ряду проверяйте по каждому размеру, а не в среднем.
- Аксессуары
- Аксессуары: на артикул мало продаж, прогноз по артикулу шумит; прогнозируйте на уровне категории и типа, а ИИ применяйте для тегирования, поиска похожих и описаний, где ошибка недорога.
- Детское
- Детское: данные о детях и их родителях это персональные данные с особым режимом, в сервисы ИИ без основания и проверки их не загружают; спрос сильно сезонный и привязан к размеру, поэтому наивное правило с сезонным сдвигом часто трудно обыграть.
- Мужское
- Мужское: спрос стабильнее и повторяется по базовым позициям, поэтому простое правило с сезонным сдвигом сильно; ИИ выигрывает на длинном хвосте артикулов и в тегировании, а не на ядре, где выигрыш у базовой линии мал.
- Женское
- Женское: спрос волатильнее, много трендовых позиций и коротких жизненных циклов, история короче; прогноз по новым артикулам остаётся гипотезой, а выигрыш ИИ чаще заметен на поведении покупателей и контенте, чем на точности прогноза отдельных артикулов.
Типичные ошибки
- Бренд: ИИ принимают по впечатлению от красивого результата → внедряют то, что слабее бесплатного правила → всегда сравнивайте с базовой линией и записывайте порог улучшения заранее.
- Бренд: в публичный сервис загружают техописания, цены и контакты фабрик → утечка коммерческой информации → используйте закрытые решения или обезличивайте данные и закрепите правила в политике.
- Ритейл: ответ клиенту от ИИ отправляют без проверки → в ответе неверные условия возврата или цена → проверяйте условия и цены по справочникам и храните журнал ответов.
- Ритейл: прогноз проверяют только в среднем по сети → плох по отдельным магазинам и размерам → оценивайте по магазинам, категориям и размерам раздельно и следите за смещением.
- Проверяют на данных, на которых модель настраивали → ошибка занижена, в работе она выше → сохраняйте периоды для проверки и фиксируйте прогноз до факта.
Особенности России
- Закон от 27.07.2006 № 152-ФЗ «О персональных данных»: загрузка данных клиентов в сервис ИИ это обработка, нередко поручение подрядчику и, возможно, передача за границу; основание, согласие и локализацию проверьте у юриста по действующей редакции. Норма: закон 152-ФЗ от 27.07.2006: Закон от 27.07.2006 № 152-ФЗ «О персональных данных».
- Бренд: права на изображения и тексты, созданные с ИИ, использование чужих образов, лиц и стиля, а также требования к раскрытию использования ИИ в рекламе и контенте регулируются действующим законодательством и условиями сервиса: проверьте у юриста, не проверено.
- Ритейл: ответ клиенту, подготовленный ИИ, это ответ компании: условия возврата, гарантии и информация о товаре должны соответствовать закону о защите прав потребителей и вашим правилам; формулировки проверьте у юриста, не проверено.
- Бренд: коммерческая тайна (закупочные цены, фабрики, неопубликованные коллекции) защищается режимом коммерческой тайны и договорами; загрузка в публичные сервисы может нарушить режим: порядок проверьте у юриста, не проверено.