Syntha Lab EN

Размер выборки опроса и погрешность: сколько ответов нужно и что можно читать по срезам

По доверительной вероятности, допустимой погрешности, ожидаемой доле ответа, размеру базы, эффекту квот и доле ответивших считает, сколько ответов нужно, сколько приглашений отправить и сколько это стоит. Для уже собранной выборки показывает погрешность общей оценки и каждого среза: срез в несколько раз меньше даёт широкий интервал.

CRM и клиентская база: удержание, сегменты, возврат Для кого: Аналитикам клиентской базы, руководителям CRM и маркетинга и менеджерам продукта, которые планируют опрос покупателей и хотят знать, насколько ему можно верить.

Посчитать на своих данных →

Коротко

Какой вопрос решает расчёт?
Сколько ответов нужно для выбранной погрешности, сколько приглашений отправить, сколько это стоит и какая погрешность у каждого среза уже собранной выборки.
Какие данные нужны?
Допустимая погрешность и доверительная вероятность: решает команда до сбора.
Как читать результат?
Пример на значениях по умолчанию (95 %, ±5 п. п., база 12 000, эффект квот 1,2, ответивших 12 %): нужно 444 ответов, 3 700 приглашений, 53 280 ₽; на три среза с той же погрешностью 1 332; при собранных 400 погрешность общей оценки 5,3 п. п. Пример на значениях по умолчанию: Ответов нужно: 444; Без поправок на базу и квоты: 384; Приглашений нужно: 3 700; Стоимость сбора: 53 280 ₽. Цифры условные: введите свои, чтобы увидеть свой результат.

Зачем и как рассуждать

Опрос даёт оценку доли, например «сколько покупателей вернулось бы за такой же вещью», и у любой оценки есть интервал. Его ширина зависит от числа ответов: погрешность равна квантилю, умноженному на корень из p(1 − p), делённого на n. Квантиль задаёт доверительная вероятность (для 95 % это 1,96), доля p при незнании берётся 50 %, потому что тогда выборка получается наибольшей. Квоты и взвешивание увеличивают нужное число ответов в несколько раз, а для небольшой базы есть поправка на конечность. В примере для ±5 п. п. при базе 12 000 и эффекте 1,2 нужно 444 ответа; при доле ответивших 12 % это 3 700 приглашений и 53 280 ₽. Если читать три среза с той же погрешностью, нужно 1 332 ответа, потому что каждый срез это отдельный опрос.

Когда применять

Применяйте перед опросом, чтобы понять, сколько ответов и денег нужно, и после сбора, чтобы честно прочитать результат и срезы. Не заменяет интервью: чтобы найти причины и слова клиентов, хватит 8–15 бесед, а выборка нужна только для оценки долей. Не подходит, если опрошенные отобраны по желанию: смещение больше погрешности. Для небольшой базы работает поправка на конечность.

Как читать результат

Смотрите на число ответов, приглашения и погрешность срезов. Если собрано 400 ответов, общая оценка читается с погрешностью около 5,3 п. п.: разницу меньше этого между двумя долями замечать нельзя. Срез в четверть выборки (100 ответов) читается с погрешностью около 11 п. п. Решение: либо увеличить выборку, либо читать срезы только по большой разнице, либо объединить их. Не забудьте о смещении: никакое число ответов не исправит, что отвечали только самые лояльные. Сравните состав ответивших с составом базы по давности и сумме покупок.

Типичные ошибки

Читают срез так, будто у него погрешность всей выборки. Берут долю ответивших с чужого опроса. Не вносят в стоимость приглашения, которые не дошли до конца. Сравнивают доли двух опросов с разной формулировкой вопроса. Принимают погрешность за точность: она не учитывает смещение отбора.

Какие данные нужны?

  • Допустимая погрешность и доверительная вероятность: решает команда до сбора.
  • Размер базы, из которой выбирают, и ожидаемая доля ответа (при сомнении 50 %).
  • Доля ответивших и цена ответа по прошлым опросам; срезы, которые будете читать отдельно.

Какие поля вводятся

ПолеЕдиницаЗначение в примереЧто означает
Доверительная вероятность%95С какой вероятностью истинная доля попадёт в интервал: чаще берут 95 %. Для выгрузки в Excel поддержаны 90, 95 и 99. Значение примера условное.
Допустимая погрешностьп. п.5Полуширина интервала в процентных пунктах: «±5 п. п.» значит, что доля 40 % читается как от 35 до 45 %. Значение примера условное.
Ожидаемая доля ответа%50Если доля неизвестна, берут 50 %: тогда выборка получается наибольшей и даёт запас. Для редких событий поставьте ожидаемую долю. Значение примера условное.
Размер базы, из которой выбираютчел.12 000Сколько людей в базе покупателей или подписчиков; 0 значит очень большая база без поправки на конечность. Значение примера условное.
Эффект квот и весов×1,2Во сколько раз квоты и взвешивание увеличивают нужное число ответов; 1 для простой случайной выборки. Значение примера условное.
Доля ответивших из приглашённых%12Сколько приглашённых доходит до конца анкеты: у рассылки по своей базе доля обычно ниже, чем у панели; берите по прошлым опросам. Значение примера условное.
Стоимость одного ответа₽120Поощрение, панель, время на рассылку и обработку в расчёте на один законченный ответ, без НДС. Значение примера условное.
Срезов, которые читают отдельносрезов3Сколько групп вы хотите сравнивать между собой с той же погрешностью: на каждую нужна своя выборка. Значение примера условное.
Ответов уже собраношт.400Фактическое число законченных анкет: по нему считается погрешность общей оценки и срезов. Значение примера условное.

Как считается

ШагФормула
Число ответовn₀ = эффект × z² × p × (1 − p) / e²
Поправка на базуn = n₀ / (1 + (n₀ − 1) / N)
Приглашенийn ÷ доля ответивших
Погрешность срезаz × √(эффект × p × (1 − p) / n среза)

Пример на цифрах

Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.

Ответов нужно
444Законченных анкет для заданной погрешности с поправкой на конечность базы и эффект квот.
Без поправок на базу и квоты
384Простая формула для большой базы: z² p (1 − p) / e².
Приглашений нужно
3 700
Стоимость сбора
53 280 ₽
Ответов на все срезы, если каждый с той же погрешностью
1 332Каждый срез читается как отдельный опрос: выборку умножают на число срезов.
Погрешность общей оценки при собранных ответах
5,3 % п. п.
Погрешность при разном числе ответов, п. п.
Линейный график: Погрешность: 10,7 → 1,602468101210020040080016003200Погрешность, 100: 10,7Погрешность, 200: 7,5Погрешность, 400: 5,3Погрешность, 800: 3,7Погрешность, 1600: 2,5Погрешность, 3200: 1,6
Данные таблицей
ПоказательПогрешность
10010,7
2007,5
4005,3
8003,7
16002,5
32001,6

Погрешность по срезам при собранных ответах

СрезДоляОтветовПогрешность, п. п.
Постоянные клиенты30 %1209,6
Новые клиенты45 %1807,9
Ушедшие клиенты25 %10010,6

Самый малый срез читается с погрешностью около 10,6 п. п. при допустимых 5: сравнивать срезы по небольшой разнице нельзя.

Выборка работает, только если опрошенные похожи на всю базу: ответы тех, кто охотно отвечает, смещены, и никакая погрешность этого не исправит. Для поиска причин и формулировок хватает 8–15 глубинных интервью, для оценки доли нужна выборка.

Нюансы и ограничения

  • Читать срезы так, будто у них та же погрешность, что у всей выборки: у среза она шире.
  • Думать, что большая выборка исправит смещение: опрошенные охотнее всего отвечают лояльные.
  • Не закладывать долю ответивших: число приглашений оказывается в разы меньше нужного.

Термины расчёта

Посчитать на своих данных →