NPS: доверительный интервал и значимость изменения
NPS это разность долей промоутеров и критиков, и у него есть разброс, зависящий от размера выборки. Расчёт даёт NPS с доверительным интервалом и сравнивает два периода: значимо ли изменение или это шум опроса. Показывает также минимальную разницу, которую при ваших выборках вообще можно заметить.
Коротко
- Какой вопрос решает расчёт?
- Какова неопределённость NPS при вашей выборке и значимо ли его изменение между периодами.
- Какие данные нужны?
- Доли промоутеров и критиков каждого периода.
- Как читать результат?
- Сначала интервалы: если они пересекаются и z мал, изменение не доказано. Затем минимальная заметная разница: она показывает, нужна ли большая выборка. Пример на значениях по умолчанию: NPS первого периода: 32 п.; Интервал первого периода (±): 7,7 п.; NPS второго периода: 38 п.; Интервал второго периода (±): 8,2 п. Цифры условные: введите свои, чтобы увидеть свой результат.
Зачем и как рассуждать
NPS это разность долей с разбросом, который зависит от числа ответов. В примере 32 ± 7,7 при 400 ответах и 38 ± 8,2 при 350; z = 1,04, значит рост на 6 пунктов в пределах шума опроса. Минимальная заметная разница при таких выборках 11,3 пункта.
Когда применять
Применяйте при отчёте об NPS и при сравнении периодов или сегментов.
Как читать результат
Сначала интервал и z, потом вывод; при малой выборке увеличивайте число ответов.
Типичные ошибки
Сравнивают NPS без интервала и работают с малыми выборками.
Какие данные нужны?
- Доли промоутеров и критиков каждого периода.
- Число ответов в каждом периоде.
- Уровень доверия (обычно 95 %).
- Пример: 52 % и 20 % при 400 ответах и 57 % и 19 % при 350: NPS 32 ± 7,7 и 38 ± 8,2, z = 1,04, изменение не значимо (условные числа).
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Промоутеры | % | 52 | Доля ответивших 9–10 баллов. Значение примера условное. |
| Критики | % | 20 | Доля ответивших 0–6 баллов. Значение примера условное. |
| Ответов | ответов | 400 | Сколько человек ответили в первом периоде. Значение примера условное. |
| Промоутеры | % | 57 | Доля ответивших 9–10 баллов. Значение примера условное. |
| Критики | % | 19 | Доля ответивших 0–6 баллов. Значение примера условное. |
| Ответов | ответов | 350 | Сколько человек ответили во втором периоде. Значение примера условное. |
| Уровень доверия | % | 95 | Обычно 95 %: интервал накрывает истинное значение в 95 случаях из 100. Значение примера условное. |
Как считается
| Шаг | Формула |
|---|---|
| NPS | промоутеры − критики, в процентных пунктах |
| Разброс | σ² = (П + Д − (П − Д)²) ÷ n, интервал NPS ± z × σ |
| Сравнение периодов | z = (NPS₂ − NPS₁) ÷ √(σ₁² + σ₂²); значимо, если |z| не меньше квантиля уровня доверия |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- NPS первого периода
- 32 п.
- Интервал первого периода (±)
- 7,7 п.
- NPS второго периода
- 38 п.
- Интервал второго периода (±)
- 8,2 п.
- Изменение NPS
- +6 п.
- z-статистика
- 1,04
- p-значение
- 29,6 %
- Минимальная заметная разница при этих выборках
- 11,3 п.
- Нижняя граница
- NPS
- Верхняя граница
Данные таблицей
| Показатель | Нижняя граница | NPS | Верхняя граница |
|---|---|---|---|
| Первый период | 24,3 | 32 | 39,7 |
| Второй период | 29,8 | 38 | 46,2 |
Изменение не значимо: оно в пределах шума опроса. Не объявляйте рост или падение NPS по такой разнице.
NPS не заменяет удержание и повторные покупки; опрашивайте после получения заказа и сравнивайте одинаковые сегменты и способы опроса.
Что делать с результатом: докладывайте NPS с интервалом; для значимой разницы увеличивайте выборку (размер выборки считает расчёт опроса).
Типичная ошибка: сравнивать NPS без интервала и работать с малыми выборками.
Нюансы и ограничения
- Сравнивать NPS без интервала.
- Опираться на малые выборки.
- Считать NPS заменой удержанию.