Качество данных и владельцы данных
Полнота, уникальность, валидность и своевременность справочников, общая оценка и цена ошибок; кто отвечает за каждый справочник (RACI).
О теме
Качество данных — это не ощущение «у нас всё неплохо», а набор измеримых свойств справочника: насколько он полный, без дублей, верный по формату, свежий и согласованный между системами. Пока качество не измерено, о нём говорят после инцидента: заказ ушёл не в тот размер, маркировка не прошла, отчёт не сошёлся с учётом. После измерения у вас появляется число, слабое место и ответственный.
Зачем это бренду и ритейлеру. Плохие данные дороги незаметно: ручная сверка, переделка карточек, отказы при приёмке, возвраты документов, продажа несуществующего остатка. Решения на этой теме такие: с какого справочника начать, какое измерение чинить первым, сколько можно тратить на очистку, кто отвечает за каждый справочник и как часто проверять.
Логика строится на измерениях. Полнота отвечает на вопрос, во всех ли обязательных полях есть значения. Уникальность: нет ли дублей и одного кода на два товара. Валидность: проходят ли значения проверку формата (контрольная цифра штрихкода, длина ИНН, допустимый цвет из справочника). Своевременность: обновлена ли запись в нужный срок. Есть ещё точность (совпадает ли запись с реальностью) и согласованность (одна и та же запись в разных системах говорит одно и то же). Первые четыре считаются по счётчикам справочника, поэтому легко автоматизируются; последние две требуют выборочной сверки с миром и между системами.
Измерение превращается в оценку через веса: вы решаете, что важнее. Но общая оценка опасна, потому что среднее скрывает провал в одном месте. Справочник может иметь оценку 92 %, а полнота 85 % означает, что почти каждая седьмая карточка не готова к публикации или к маркировке. Поэтому рядом с общей оценкой держат пороги по каждому измерению и «стоп-условия»: карточка с дублем штрихкода не уходит в обмен, какой бы высокой ни была общая оценка. Вторая половина темы — ответственность. У справочника должен быть один подотчётный (A в матрице RACI), который решает, что считать нормой, и исполнитель (R), который правит. Если подотчётных «все понемногу», не отвечает никто.
С чего начать: возьмите справочник SKU, задайте обязательные атрибуты и срок обновления, посчитайте счётчики, найдите слабейшее измерение и оцените цену ошибок по журналу инцидентов. Повторяйте каждый период и ведите журнал изменений правил, иначе тренды сравнивать нельзя. Ловушки: измерять качество один раз перед запуском, чинить ошибки в отчёте вместо источника, складывать причины ошибок без учёта пересечений, менять правила проверки без записи.
Ключевые идеи
Четыре измерения считаются по счётчикам
12 000 SKU: все обязательные поля у 10 200 (полнота 85 %), дубль штрихкода у 120 (уникальность 99 %), неверный или пустой штрихкод у 60 (валидность 99,5 %), не обновлено в срок 900 (своевременность 92,5 %). Всё делится на общее число SKU, поэтому измерения сравнимы между собой.
Общая оценка зависит от весов и скрывает слабое место
Веса 40, 20, 20, 20 дают 0,4 × 85 + 0,2 × 99 + 0,2 × 99,5 + 0,2 × 92,5 = 92,2 %. Результат выглядит хорошо, хотя 1 800 карточек неполны. Если дублей станет 1 200 (уникальность 90 %), оценка упадёт лишь до 90,4 %: вес слишком мал, чтобы заметить проблему. Для критичных измерений нужны собственные пороги и стоп-условия.
Цена ошибок оценивается диапазоном
1 800 неполных карточек. Из журнала инцидентов видно, что 4–12 % из них приводят к сбою (отказ при приёмке, возврат, переделка), и каждый сбой стоит 2 500 ₽. Нижняя оценка 1 800 × 0,04 × 2 500 = 180 000 ₽, верхняя 1 800 × 0,12 × 2 500 = 540 000 ₽. Диапазон честнее одного числа: он показывает, что цена очистки справедлива, если стоит меньше нижней границы.
Один подотчётный, много исполнителей (RACI)
Справочник SKU: подотчётный (A) руководитель категорий, исполнитель (R) аналитик данных, консультируются (C) логистика и маркетинг, информируются (I) финансы. A один: он принимает решение, что считать нормой. Если в колонке A три фамилии, правило «все понемногу» означает, что решение откладывается.
Чинить надо источник, а не отчёт
Аналитик каждую неделю руками правит цвет «чёрн.» в выгрузке. Это час работы в неделю, 52 часа в год, и ошибка возвращается при следующей выгрузке. Правка в справочнике делается один раз и исчезает из всех отчётов. Чтобы проверка работала, правила и их изменения фиксируют в журнале.
Движение остатка и продажи сверяют по инварианту
Ожидаемый остаток 10 650 шт. против факта 10 400: расхождение −250 шт. Касса и учёт расходятся на 50 000 ₽, банк отличается от ожидания на −60 000 ₽: эффективная комиссия 2,86 %.
Формула: Ожидаемый конец = начало + приход − продажи + возвраты − перемещения − списания + корректировки
Что делать: Остатки сверяйте на одну дату.
Как разбираться
- Выберите справочник для проверки: обычно это карточки SKU, потому что от них зависят все остальные.
- Задайте обязательные атрибуты, допустимые форматы и срок обновления каждого поля.
- Посчитайте счётчики: заполненные, дубли, неверные коды, просроченные записи.
- Получите оценку по весам и отдельно покажите слабейшее измерение и стоп-условия.
- Оцените цену ошибок по журналу инцидентов диапазоном.
- Назначьте подотчётного A и исполнителя R по матрице RACI; согласуйте, кто смотрит результат.
- Исправляйте источник, а не отчёт, и ведите журнал изменений правил проверки.
- Повторяйте проверку каждый период и сравнивайте тренд с прошлым.
С чего начать
1) Выберите справочник для проверки: карточки SKU. 2) Задайте обязательные атрибуты и срок обновления. 3) Посчитайте счётчики: заполненные, дубли, неверные коды, просроченные. 4) Получите оценку и слабейшее измерение. 5) Оцените цену ошибок по журналу инцидентов. 6) Назначьте подотчётного A и исполнителя R по матрице RACI. 7) Повторяйте проверку каждый период и ведите журнал изменений правил. Расчёты темы по порядку: «Полнота и качество мастер-данных товара», «Сверка движения остатка: начало + приход − расход = конец», «Сверка продаж: касса, учёт, эквайринг и выплата». См. также (основная тема у них другая): «Точность остатков и цена расхождений», «Задержка обмена остатками: цена устаревших данных».
Расчёты темы
Полнота и качество мастер-данных товара
По числу SKU, заполненных карточек, дублей и неверных штрихкодов и просроченных записей считает четыре измерения качества, общую оценку по вашим весам и оценку стоимости ошибок в диапазоне.
Насколько справочник SKU готов к работе и сколько стоят ошибки.
Сверка движения остатка: начало + приход − расход = конец
Проверяет инвариант движения запаса: начальный остаток плюс приход, минус продажи, плюс возвраты, минус перемещения и списания, плюс корректировки должны дать конечный остаток. Считает расхождение с фактом в штуках, процентах от оборота и рублях, сравнивает с допуском и подсказывает, на какую статью и знак смотреть в первую очередь.
Сходится ли движение запаса и куда смотреть, если нет.
Сверка продаж: касса, учёт, эквайринг и выплата
Сводит чистые продажи по кассе (валовые минус возвраты и скидки) с суммой в учёте и ожидаемое безналичное поступление (безналичные продажи минус комиссия эквайринга) с реальными поступлениями на счёт. Учитывает лаг расчётов, показывает расхождения, сравнивает с допуском и считает эффективную комиссию, которая объясняет разницу с банком.
Совпадают ли касса, учёт и деньги от эквайринга.
Точность остатков и цена расхождений
По итогам выборочной сверки считает точность учёта по строкам и по стоимости, сальдо расхождений и оценивает упущенную выручку от «фантомного» запаса: товар числится, а на полке его нет.
Насколько учёт остатков совпадает с реальностью и сколько стоят расхождения.
Задержка обмена остатками: цена устаревших данных
По числу заказов, доле заказов на SKU с малым остатком и интервалу обмена считает, сколько заказов в месяц продают то, чего уже нет, во что это обходится и окупается ли более частое обновление.
Сколько стоят устаревшие остатки на канале и окупится ли более частое обновление.
Вопросы для самопроверки
- Какова полнота, уникальность, валидность и своевременность справочника SKU?
- Какое измерение слабее всего и с чего начать очистку?
- Какие стоп-условия не пропускают карточку дальше независимо от общей оценки?
- Сколько стоят ошибки по журналу инцидентов в нижней и верхней оценке?
- Кто подотчётный за каждый справочник и кто исполнитель?
- Как часто вы проверяете справочник и кто смотрит результат?
- Совпадает ли одна запись в разных системах (согласованность) и как это проверяется?
- Фиксируете ли вы изменения правил проверки, чтобы сравнивать периоды?
Проверка знаний
Вопросы с вариантами ответа. Правильный ответ и пояснение указаны под каждым вопросом.
У 30 SKU штрихкод заполнен, но не проходит проверку контрольной цифры. Какое измерение качества данных страдает?
- А. Полнота
- Б. Уникальность
- В. Валидность
- Г. Своевременность
Правильный ответ: В. Валидность. Значение есть, но недопустимо по формату: это валидность (1 − неверные ÷ все). Полнота не страдает, поле заполнено. Уникальность — это отсутствие дублей, а здесь о них речи нет; своевременность про срок обновления записи, а не про верность кода.
В справочнике 5 000 SKU: полностью заполнены 4 250, у 50 дубль штрихкода, у 25 неверный код, 400 не обновлены в срок. Веса полноты, уникальности, валидности и своевременности 40, 20, 20 и 20. Какова общая оценка?
- А. 92,1 %
- Б. 93,9 %
- В. 85 %
- Г. 96,8 %
Правильный ответ: А. 92,1 %. Полнота 4 250 / 5 000 = 85 %, уникальность 99 %, валидность 99,5 %, своевременность 92 %. Оценка = (40 × 85 + 20 × 99 + 20 × 99,5 + 20 × 92) / 100 = 92,1 %. 93,9 % это простое среднее без весов, 85 % только слабейшее измерение (полнота), а 96,8 % получится, если выбросить полноту: самое слабое и самое тяжёлое по весу измерение.
Справочник на 2 000 SKU: 300 неполных карточек, 40 дублей кода, 20 неверных кодов, 200 просроченных записей. Сбой дают 5 % проблемных SKU, один сбой стоит 2 000 ₽. В каком диапазоне стоимость ошибок за период?
- А. 56 000 ₽ точно
- Б. 30 000 ₽ точно
- В. от 600 000 до 1 120 000 ₽
- Г. от 30 000 до 56 000 ₽
Правильный ответ: Г. от 30 000 до 56 000 ₽. Причины проблем пересекаются, поэтому считают диапазон: нижняя граница это самая крупная причина (300 SKU), верхняя сумма причин (300 + 40 + 20 + 200 = 560 SKU). Сбой дают 5 %: 300 × 0,05 × 2 000 = 30 000 ₽ и 560 × 0,05 × 2 000 = 56 000 ₽. Одно число, 56 000 или 30 000 ₽, было бы ложной точностью; 600 000–1 120 000 ₽ получится, если забыть долю SKU, давших сбой.
В матрице RACI справочника поставщиков стоят две буквы A (закупка и финансы) и ни одного R. Что исправить?
- А. Оставить двух подотчётных: ответственность делится пополам
- Б. Оставить одного подотчётного A, остальных перевести в C или I и назначить хотя бы одного исполнителя R
- В. Заменить обе A на R: пусть исполняют все
- Г. Назначить подотчётным отдел закупки целиком
Правильный ответ: Б. Оставить одного подотчётного A, остальных перевести в C или I и назначить хотя бы одного исполнителя R. В строке RACI ровно один A и минимум один R. Две A означают, что в споре отвечает «каждый понемногу», то есть никто; без R никто не исправляет записи; если все R, нет подотчётного; отдел вместо человека тоже не подотчётен: назначают конкретного человека.
Сверка выборки: проверено 250 строк, точных 230. Излишки на 150 000 ₽, недостачи на 250 000 ₽, учётная стоимость проверенного 10 000 000 ₽. Какие точность по строкам и стоимостная ошибка?
- А. 92 % и 4 %
- Б. 92 % и 1 %
- В. 8 % и 4 %
- Г. 92 % и 2,5 %
Правильный ответ: А. 92 % и 4 %. Точность по строкам = 230 / 250 = 92 %. Стоимостная ошибка = (излишки + недостачи) / учётная стоимость = 400 000 / 10 000 000 = 4 %. 1 % получится, если взять сальдо (250 000 − 150 000): излишки и недостачи гасят друг друга, а ошибка учёта остаётся. 8 % это доля неточных строк, а 2,5 % только недостачи.
Факт ниже учёта. Куда смотреть в первую очередь?
- А. Неотражённые приходы
- Б. Цену
- В. Перемещения и списания, недопоставку
- Г. Курс валюты
Правильный ответ: В. Перемещения и списания, недопоставку. Факт ниже: непроведённый расход. Где разобрано: Движение остатка и продажи сверяют по инварианту.
Почему банк отличается от ожидаемого поступления?
- А. Комиссия, удержания, возвраты по картам и лаг расчётов
- Б. Только ошибка кассира
- В. Курс валюты
- Г. Сезонность
Правильный ответ: А. Комиссия, удержания, возвраты по картам и лаг расчётов. Эффективная комиссия показывает разницу. Где разобрано: Движение остатка и продажи сверяют по инварианту.
Частые ошибки
Ошибка: Мерить качество один раз перед запуском
Чем грозит: Ухудшение никто не замечает
Как избежать: Проверка каждый период с трендом.
Ошибка: Назначать подотчётного «всех понемногу»
Чем грозит: Решения откладываются
Как избежать: Один A на справочник.
Ошибка: Складывать причины ошибок без учёта пересечений
Чем грозит: Цена ошибок завышена
Как избежать: Считайте уникальные карточки с ошибкой.
Ошибка: Менять правила проверки без журнала
Чем грозит: Тренд сравнивать нельзя
Как избежать: Записывайте дату и причину изменения.
Ошибка: Чинить ошибки вручную в отчёте
Чем грозит: Они возвращаются при следующей выгрузке
Как избежать: Правьте источник.
Сравнивать остатки разных дат
Как выглядит (условные цифры): Расхождение мнимое.
Россия и ЕАЭС
Единого российского норматива по качеству данных нет: пороги и сроки обновления вы задаёте сами. Но есть требования, которые превращают качество в обязанность. Если в справочниках хранятся персональные данные клиентов, действует 152-ФЗ: данные должны быть точными и актуальными, а субъект вправе требовать их уточнения; хранение данных граждан РФ ведётся в базах на территории России (проверьте с юристом). Для маркированных товаров неверный GTIN или пустой атрибут в Национальном каталоге приводят к отказу при вводе кодов в оборот. В электронных документах (УПД, УКД) ошибки в реквизитах и наименованиях требуют корректировки, а ошибка в счёте-фактуре, не позволяющая идентифицировать продавца, товар или налоговую ставку, может поставить под вопрос вычет НДС.
Проверку формата можно автоматизировать: ИНН юридического лица состоит из 10 цифр, ИНН физического из 12, и в обоих есть контрольные цифры; штрихкод GTIN проверяется по контрольной цифре; ТН ВЭД ЕАЭС имеет десять знаков. Проверка контрагента по реестру до первой сделки сокращает риск ошибок в реквизитах.
Измерения качества те же, меняются форматы идентификаторов и язык. В Беларуси налоговый идентификатор называется УНП, в Казахстане БИН для организаций и ИИН для физических лиц, в Киргизии ИНН; длины и контрольные цифры различаются, поэтому проверка формата должна быть настроена по стране, а не по российскому образцу (ориентир, проверьте). Наименования и адреса могут быть на двух языках, и справочник должен хранить оба, а не смешивать их в одном поле. Для поставок в Россию карточка товара должна нести ТН ВЭД ЕАЭС, общий для союза, и отдельно национальные атрибуты каталога. Требования к хранению и защите персональных данных в каждой стране свои, проверьте у юриста до подключения общей CRM.
Категории и аудитории
- Одежда
- В одежде главные источники ошибок — размер и цвет (тексты вместо справочника), состав и уход. Полнота по составу критична для маркировки и документов, поэтому её ведут как отдельный порог. Проверяйте, чтобы один размер не жил в двух вариантах написания.
- Обувь
- В обуви слабые места — размерная сетка (EU, RU, Mondopoint), полнота колодки и материалов и соответствие пары одному коду. Дубль штрихкода на два размера ломает склад. Валидность размера проверяйте по справочнику сетки, а не по тексту.
- Аксессуары
- Аксессуаров меньше, поэтому качество часто выше по счётчикам, но ошибки дороже: наборы, комплектация, материалы и ТН ВЭД разнородны. Проверяйте, что у набора есть собственный код и связь с составом, а у товара без размера нет искусственного размера.
- Детское
- В детском критичны возраст, рост и сведения о сертификате: от них зависит допуск к продаже. Пустое поле возраста или сертификата стоит дороже, чем в другой категории, поэтому для него задают стоп-условие. Сезонные обновления перед школой требуют свежести данных.
- Мужское
- В мужском справочнике ошибки накапливаются на связях: у переходящей модели ссылка на предка потерялась при смене артикула, а размерная пара записана как «50–182» и «50/182». Поэтому измеряйте долю переходящих моделей с заполненным предком и единообразие формата пары: от них зависит сопоставимость сезонов год к году.
- Женское
- В женской линии хуже всего обстоят дела с цветом и размером: «беж», «бежевый» и «beige» считаются тремя цветами. Измеряйте долю карточек, где цвет взят из справочника, а размеры из утверждённой сетки. На запуск коллекции проверяйте её еженедельно, пока карточки не отстали от цен и акций.
Вопросы, на которые отвечает тема
- Какова полнота, уникальность, валидность и своевременность справочника SKU?
- Какое измерение слабее всего и с чего начать очистку?
- Сколько стоят ошибки данных по журналу инцидентов?
- Кто подотчётный за каждый справочник и кто исполнитель?
- Как часто проверять справочник и кто смотрит результат?
Ключевые показатели и термины
Сначала изучите
Что дальше
Дальше: «Словарь показателей и единые определения», «Модель данных стандартных отчётов», «Точность запаса, потери и доступность».
Документы по теме
- Клиентский сервис: SLA, FCR, рекламации и права потребителя
- Voice of Customer: причины возвратов и жалоб → действия
- IT-архитектура фэшн-бизнеса
- Цвет и материалы: лаб-дипы, метамеризм, hand-feel, лабораторные тесты, приёмка
- Контроль производственного заказа: входной контроль ткани, TNA, инспекции в процессе и перед отгрузкой, претензии
- Учётные системы и данные: 1С и ERP, PIM и MDM, BI, интеграции (ЭДО, маркировка, API площадок), стоимость владения и качество данных
- Справочник тканей, фурнитуры и дефектов: волокна и составы, плотность, усадка, четырёхбалльная оценка дефектов и приёмка рулона
- ИИ в моде и аналитике: где применять, где нет, как проверять результат, какие нужны данные и какие бывают ошибки. Памятка и чек-лист
- Excel для ритейла, часть I: поиск по ключу, сводные таблицы и проверка данных
- Склад и данные: ёмкость под пик, сверка остатков и продаж, возвраты, RFID и слоттинг