Syntha Lab EN

Качество данных и владельцы данных

Полнота, уникальность, валидность и своевременность справочников, общая оценка и цена ошибок; кто отвечает за каждый справочник (RACI).

both Процессы и данные

Открыть интерактивно →

О теме

Качество данных — это не ощущение «у нас всё неплохо», а набор измеримых свойств справочника: насколько он полный, без дублей, верный по формату, свежий и согласованный между системами. Пока качество не измерено, о нём говорят после инцидента: заказ ушёл не в тот размер, маркировка не прошла, отчёт не сошёлся с учётом. После измерения у вас появляется число, слабое место и ответственный.

Зачем это бренду и ритейлеру. Плохие данные дороги незаметно: ручная сверка, переделка карточек, отказы при приёмке, возвраты документов, продажа несуществующего остатка. Решения на этой теме такие: с какого справочника начать, какое измерение чинить первым, сколько можно тратить на очистку, кто отвечает за каждый справочник и как часто проверять.

Логика строится на измерениях. Полнота отвечает на вопрос, во всех ли обязательных полях есть значения. Уникальность: нет ли дублей и одного кода на два товара. Валидность: проходят ли значения проверку формата (контрольная цифра штрихкода, длина ИНН, допустимый цвет из справочника). Своевременность: обновлена ли запись в нужный срок. Есть ещё точность (совпадает ли запись с реальностью) и согласованность (одна и та же запись в разных системах говорит одно и то же). Первые четыре считаются по счётчикам справочника, поэтому легко автоматизируются; последние две требуют выборочной сверки с миром и между системами.

Измерение превращается в оценку через веса: вы решаете, что важнее. Но общая оценка опасна, потому что среднее скрывает провал в одном месте. Справочник может иметь оценку 92 %, а полнота 85 % означает, что почти каждая седьмая карточка не готова к публикации или к маркировке. Поэтому рядом с общей оценкой держат пороги по каждому измерению и «стоп-условия»: карточка с дублем штрихкода не уходит в обмен, какой бы высокой ни была общая оценка. Вторая половина темы — ответственность. У справочника должен быть один подотчётный (A в матрице RACI), который решает, что считать нормой, и исполнитель (R), который правит. Если подотчётных «все понемногу», не отвечает никто.

С чего начать: возьмите справочник SKU, задайте обязательные атрибуты и срок обновления, посчитайте счётчики, найдите слабейшее измерение и оцените цену ошибок по журналу инцидентов. Повторяйте каждый период и ведите журнал изменений правил, иначе тренды сравнивать нельзя. Ловушки: измерять качество один раз перед запуском, чинить ошибки в отчёте вместо источника, складывать причины ошибок без учёта пересечений, менять правила проверки без записи.

Ключевые идеи

Четыре измерения считаются по счётчикам

12 000 SKU: все обязательные поля у 10 200 (полнота 85 %), дубль штрихкода у 120 (уникальность 99 %), неверный или пустой штрихкод у 60 (валидность 99,5 %), не обновлено в срок 900 (своевременность 92,5 %). Всё делится на общее число SKU, поэтому измерения сравнимы между собой.

Общая оценка зависит от весов и скрывает слабое место

Веса 40, 20, 20, 20 дают 0,4 × 85 + 0,2 × 99 + 0,2 × 99,5 + 0,2 × 92,5 = 92,2 %. Результат выглядит хорошо, хотя 1 800 карточек неполны. Если дублей станет 1 200 (уникальность 90 %), оценка упадёт лишь до 90,4 %: вес слишком мал, чтобы заметить проблему. Для критичных измерений нужны собственные пороги и стоп-условия.

Цена ошибок оценивается диапазоном

1 800 неполных карточек. Из журнала инцидентов видно, что 4–12 % из них приводят к сбою (отказ при приёмке, возврат, переделка), и каждый сбой стоит 2 500 ₽. Нижняя оценка 1 800 × 0,04 × 2 500 = 180 000 ₽, верхняя 1 800 × 0,12 × 2 500 = 540 000 ₽. Диапазон честнее одного числа: он показывает, что цена очистки справедлива, если стоит меньше нижней границы.

Один подотчётный, много исполнителей (RACI)

Справочник SKU: подотчётный (A) руководитель категорий, исполнитель (R) аналитик данных, консультируются (C) логистика и маркетинг, информируются (I) финансы. A один: он принимает решение, что считать нормой. Если в колонке A три фамилии, правило «все понемногу» означает, что решение откладывается.

Чинить надо источник, а не отчёт

Аналитик каждую неделю руками правит цвет «чёрн.» в выгрузке. Это час работы в неделю, 52 часа в год, и ошибка возвращается при следующей выгрузке. Правка в справочнике делается один раз и исчезает из всех отчётов. Чтобы проверка работала, правила и их изменения фиксируют в журнале.

Движение остатка и продажи сверяют по инварианту

Ожидаемый остаток 10 650 шт. против факта 10 400: расхождение −250 шт. Касса и учёт расходятся на 50 000 ₽, банк отличается от ожидания на −60 000 ₽: эффективная комиссия 2,86 %.

Формула: Ожидаемый конец = начало + приход − продажи + возвраты − перемещения − списания + корректировки

Что делать: Остатки сверяйте на одну дату.

Как разбираться

  1. Выберите справочник для проверки: обычно это карточки SKU, потому что от них зависят все остальные.
  2. Задайте обязательные атрибуты, допустимые форматы и срок обновления каждого поля.
  3. Посчитайте счётчики: заполненные, дубли, неверные коды, просроченные записи.
  4. Получите оценку по весам и отдельно покажите слабейшее измерение и стоп-условия.
  5. Оцените цену ошибок по журналу инцидентов диапазоном.
  6. Назначьте подотчётного A и исполнителя R по матрице RACI; согласуйте, кто смотрит результат.
  7. Исправляйте источник, а не отчёт, и ведите журнал изменений правил проверки.
  8. Повторяйте проверку каждый период и сравнивайте тренд с прошлым.

С чего начать

1) Выберите справочник для проверки: карточки SKU. 2) Задайте обязательные атрибуты и срок обновления. 3) Посчитайте счётчики: заполненные, дубли, неверные коды, просроченные. 4) Получите оценку и слабейшее измерение. 5) Оцените цену ошибок по журналу инцидентов. 6) Назначьте подотчётного A и исполнителя R по матрице RACI. 7) Повторяйте проверку каждый период и ведите журнал изменений правил. Расчёты темы по порядку: «Полнота и качество мастер-данных товара», «Сверка движения остатка: начало + приход − расход = конец», «Сверка продаж: касса, учёт, эквайринг и выплата». См. также (основная тема у них другая): «Точность остатков и цена расхождений», «Задержка обмена остатками: цена устаревших данных».

Расчёты темы

  • Полнота и качество мастер-данных товара

    По числу SKU, заполненных карточек, дублей и неверных штрихкодов и просроченных записей считает четыре измерения качества, общую оценку по вашим весам и оценку стоимости ошибок в диапазоне.

    Насколько справочник SKU готов к работе и сколько стоят ошибки.

  • Сверка движения остатка: начало + приход − расход = конец

    Проверяет инвариант движения запаса: начальный остаток плюс приход, минус продажи, плюс возвраты, минус перемещения и списания, плюс корректировки должны дать конечный остаток. Считает расхождение с фактом в штуках, процентах от оборота и рублях, сравнивает с допуском и подсказывает, на какую статью и знак смотреть в первую очередь.

    Сходится ли движение запаса и куда смотреть, если нет.

  • Сверка продаж: касса, учёт, эквайринг и выплата

    Сводит чистые продажи по кассе (валовые минус возвраты и скидки) с суммой в учёте и ожидаемое безналичное поступление (безналичные продажи минус комиссия эквайринга) с реальными поступлениями на счёт. Учитывает лаг расчётов, показывает расхождения, сравнивает с допуском и считает эффективную комиссию, которая объясняет разницу с банком.

    Совпадают ли касса, учёт и деньги от эквайринга.

  • Точность остатков и цена расхождений

    По итогам выборочной сверки считает точность учёта по строкам и по стоимости, сальдо расхождений и оценивает упущенную выручку от «фантомного» запаса: товар числится, а на полке его нет.

    Насколько учёт остатков совпадает с реальностью и сколько стоят расхождения.

  • Задержка обмена остатками: цена устаревших данных

    По числу заказов, доле заказов на SKU с малым остатком и интервалу обмена считает, сколько заказов в месяц продают то, чего уже нет, во что это обходится и окупается ли более частое обновление.

    Сколько стоят устаревшие остатки на канале и окупится ли более частое обновление.

Вопросы для самопроверки

  • Какова полнота, уникальность, валидность и своевременность справочника SKU?
  • Какое измерение слабее всего и с чего начать очистку?
  • Какие стоп-условия не пропускают карточку дальше независимо от общей оценки?
  • Сколько стоят ошибки по журналу инцидентов в нижней и верхней оценке?
  • Кто подотчётный за каждый справочник и кто исполнитель?
  • Как часто вы проверяете справочник и кто смотрит результат?
  • Совпадает ли одна запись в разных системах (согласованность) и как это проверяется?
  • Фиксируете ли вы изменения правил проверки, чтобы сравнивать периоды?

Проверка знаний

Вопросы с вариантами ответа. Правильный ответ и пояснение указаны под каждым вопросом.

  1. У 30 SKU штрихкод заполнен, но не проходит проверку контрольной цифры. Какое измерение качества данных страдает?

    • А. Полнота
    • Б. Уникальность
    • В. Валидность
    • Г. Своевременность

    Правильный ответ: В. Валидность. Значение есть, но недопустимо по формату: это валидность (1 − неверные ÷ все). Полнота не страдает, поле заполнено. Уникальность — это отсутствие дублей, а здесь о них речи нет; своевременность про срок обновления записи, а не про верность кода.

  2. В справочнике 5 000 SKU: полностью заполнены 4 250, у 50 дубль штрихкода, у 25 неверный код, 400 не обновлены в срок. Веса полноты, уникальности, валидности и своевременности 40, 20, 20 и 20. Какова общая оценка?

    • А. 92,1 %
    • Б. 93,9 %
    • В. 85 %
    • Г. 96,8 %

    Правильный ответ: А. 92,1 %. Полнота 4 250 / 5 000 = 85 %, уникальность 99 %, валидность 99,5 %, своевременность 92 %. Оценка = (40 × 85 + 20 × 99 + 20 × 99,5 + 20 × 92) / 100 = 92,1 %. 93,9 % это простое среднее без весов, 85 % только слабейшее измерение (полнота), а 96,8 % получится, если выбросить полноту: самое слабое и самое тяжёлое по весу измерение.

  3. Справочник на 2 000 SKU: 300 неполных карточек, 40 дублей кода, 20 неверных кодов, 200 просроченных записей. Сбой дают 5 % проблемных SKU, один сбой стоит 2 000 ₽. В каком диапазоне стоимость ошибок за период?

    • А. 56 000 ₽ точно
    • Б. 30 000 ₽ точно
    • В. от 600 000 до 1 120 000 ₽
    • Г. от 30 000 до 56 000 ₽

    Правильный ответ: Г. от 30 000 до 56 000 ₽. Причины проблем пересекаются, поэтому считают диапазон: нижняя граница это самая крупная причина (300 SKU), верхняя сумма причин (300 + 40 + 20 + 200 = 560 SKU). Сбой дают 5 %: 300 × 0,05 × 2 000 = 30 000 ₽ и 560 × 0,05 × 2 000 = 56 000 ₽. Одно число, 56 000 или 30 000 ₽, было бы ложной точностью; 600 000–1 120 000 ₽ получится, если забыть долю SKU, давших сбой.

  4. В матрице RACI справочника поставщиков стоят две буквы A (закупка и финансы) и ни одного R. Что исправить?

    • А. Оставить двух подотчётных: ответственность делится пополам
    • Б. Оставить одного подотчётного A, остальных перевести в C или I и назначить хотя бы одного исполнителя R
    • В. Заменить обе A на R: пусть исполняют все
    • Г. Назначить подотчётным отдел закупки целиком

    Правильный ответ: Б. Оставить одного подотчётного A, остальных перевести в C или I и назначить хотя бы одного исполнителя R. В строке RACI ровно один A и минимум один R. Две A означают, что в споре отвечает «каждый понемногу», то есть никто; без R никто не исправляет записи; если все R, нет подотчётного; отдел вместо человека тоже не подотчётен: назначают конкретного человека.

  5. Сверка выборки: проверено 250 строк, точных 230. Излишки на 150 000 ₽, недостачи на 250 000 ₽, учётная стоимость проверенного 10 000 000 ₽. Какие точность по строкам и стоимостная ошибка?

    • А. 92 % и 4 %
    • Б. 92 % и 1 %
    • В. 8 % и 4 %
    • Г. 92 % и 2,5 %

    Правильный ответ: А. 92 % и 4 %. Точность по строкам = 230 / 250 = 92 %. Стоимостная ошибка = (излишки + недостачи) / учётная стоимость = 400 000 / 10 000 000 = 4 %. 1 % получится, если взять сальдо (250 000 − 150 000): излишки и недостачи гасят друг друга, а ошибка учёта остаётся. 8 % это доля неточных строк, а 2,5 % только недостачи.

  6. Факт ниже учёта. Куда смотреть в первую очередь?

    • А. Неотражённые приходы
    • Б. Цену
    • В. Перемещения и списания, недопоставку
    • Г. Курс валюты

    Правильный ответ: В. Перемещения и списания, недопоставку. Факт ниже: непроведённый расход. Где разобрано: Движение остатка и продажи сверяют по инварианту.

  7. Почему банк отличается от ожидаемого поступления?

    • А. Комиссия, удержания, возвраты по картам и лаг расчётов
    • Б. Только ошибка кассира
    • В. Курс валюты
    • Г. Сезонность

    Правильный ответ: А. Комиссия, удержания, возвраты по картам и лаг расчётов. Эффективная комиссия показывает разницу. Где разобрано: Движение остатка и продажи сверяют по инварианту.

Частые ошибки

  • Ошибка: Мерить качество один раз перед запуском

    Чем грозит: Ухудшение никто не замечает

    Как избежать: Проверка каждый период с трендом.

  • Ошибка: Назначать подотчётного «всех понемногу»

    Чем грозит: Решения откладываются

    Как избежать: Один A на справочник.

  • Ошибка: Складывать причины ошибок без учёта пересечений

    Чем грозит: Цена ошибок завышена

    Как избежать: Считайте уникальные карточки с ошибкой.

  • Ошибка: Менять правила проверки без журнала

    Чем грозит: Тренд сравнивать нельзя

    Как избежать: Записывайте дату и причину изменения.

  • Ошибка: Чинить ошибки вручную в отчёте

    Чем грозит: Они возвращаются при следующей выгрузке

    Как избежать: Правьте источник.

  • Сравнивать остатки разных дат

    Как выглядит (условные цифры): Расхождение мнимое.

Россия и ЕАЭС

Единого российского норматива по качеству данных нет: пороги и сроки обновления вы задаёте сами. Но есть требования, которые превращают качество в обязанность. Если в справочниках хранятся персональные данные клиентов, действует 152-ФЗ: данные должны быть точными и актуальными, а субъект вправе требовать их уточнения; хранение данных граждан РФ ведётся в базах на территории России (проверьте с юристом). Для маркированных товаров неверный GTIN или пустой атрибут в Национальном каталоге приводят к отказу при вводе кодов в оборот. В электронных документах (УПД, УКД) ошибки в реквизитах и наименованиях требуют корректировки, а ошибка в счёте-фактуре, не позволяющая идентифицировать продавца, товар или налоговую ставку, может поставить под вопрос вычет НДС.

Проверку формата можно автоматизировать: ИНН юридического лица состоит из 10 цифр, ИНН физического из 12, и в обоих есть контрольные цифры; штрихкод GTIN проверяется по контрольной цифре; ТН ВЭД ЕАЭС имеет десять знаков. Проверка контрагента по реестру до первой сделки сокращает риск ошибок в реквизитах.

Измерения качества те же, меняются форматы идентификаторов и язык. В Беларуси налоговый идентификатор называется УНП, в Казахстане БИН для организаций и ИИН для физических лиц, в Киргизии ИНН; длины и контрольные цифры различаются, поэтому проверка формата должна быть настроена по стране, а не по российскому образцу (ориентир, проверьте). Наименования и адреса могут быть на двух языках, и справочник должен хранить оба, а не смешивать их в одном поле. Для поставок в Россию карточка товара должна нести ТН ВЭД ЕАЭС, общий для союза, и отдельно национальные атрибуты каталога. Требования к хранению и защите персональных данных в каждой стране свои, проверьте у юриста до подключения общей CRM.

Категории и аудитории

Одежда
В одежде главные источники ошибок — размер и цвет (тексты вместо справочника), состав и уход. Полнота по составу критична для маркировки и документов, поэтому её ведут как отдельный порог. Проверяйте, чтобы один размер не жил в двух вариантах написания.
Обувь
В обуви слабые места — размерная сетка (EU, RU, Mondopoint), полнота колодки и материалов и соответствие пары одному коду. Дубль штрихкода на два размера ломает склад. Валидность размера проверяйте по справочнику сетки, а не по тексту.
Аксессуары
Аксессуаров меньше, поэтому качество часто выше по счётчикам, но ошибки дороже: наборы, комплектация, материалы и ТН ВЭД разнородны. Проверяйте, что у набора есть собственный код и связь с составом, а у товара без размера нет искусственного размера.
Детское
В детском критичны возраст, рост и сведения о сертификате: от них зависит допуск к продаже. Пустое поле возраста или сертификата стоит дороже, чем в другой категории, поэтому для него задают стоп-условие. Сезонные обновления перед школой требуют свежести данных.
Мужское
В мужском справочнике ошибки накапливаются на связях: у переходящей модели ссылка на предка потерялась при смене артикула, а размерная пара записана как «50–182» и «50/182». Поэтому измеряйте долю переходящих моделей с заполненным предком и единообразие формата пары: от них зависит сопоставимость сезонов год к году.
Женское
В женской линии хуже всего обстоят дела с цветом и размером: «беж», «бежевый» и «beige» считаются тремя цветами. Измеряйте долю карточек, где цвет взят из справочника, а размеры из утверждённой сетки. На запуск коллекции проверяйте её еженедельно, пока карточки не отстали от цен и акций.

Вопросы, на которые отвечает тема

  • Какова полнота, уникальность, валидность и своевременность справочника SKU?
  • Какое измерение слабее всего и с чего начать очистку?
  • Сколько стоят ошибки данных по журналу инцидентов?
  • Кто подотчётный за каждый справочник и кто исполнитель?
  • Как часто проверять справочник и кто смотрит результат?

Ключевые показатели и термины

Сначала изучите

Что дальше

Дальше: «Словарь показателей и единые определения», «Модель данных стандартных отчётов», «Точность запаса, потери и доступность».

Документы по теме

Открыть интерактивно →