Размер выборки опроса и погрешность: сколько ответов нужно и что можно читать по срезам
По доверительной вероятности, допустимой погрешности, ожидаемой доле ответа, размеру базы, эффекту квот и доле ответивших считает, сколько ответов нужно, сколько приглашений отправить и сколько это стоит. Для уже собранной выборки показывает погрешность общей оценки и каждого среза: срез в несколько раз меньше даёт широкий интервал.
Коротко
- Какой вопрос решает расчёт?
- Сколько ответов нужно для выбранной погрешности, сколько приглашений отправить, сколько это стоит и какая погрешность у каждого среза уже собранной выборки.
- Какие данные нужны?
- Допустимая погрешность и доверительная вероятность: решает команда до сбора.
- Как читать результат?
- Пример на значениях по умолчанию (95 %, ±5 п. п., база 12 000, эффект квот 1,2, ответивших 12 %): нужно 444 ответов, 3 700 приглашений, 53 280 ₽; на три среза с той же погрешностью 1 332; при собранных 400 погрешность общей оценки 5,3 п. п. Пример на значениях по умолчанию: Ответов нужно: 444; Без поправок на базу и квоты: 384; Приглашений нужно: 3 700; Стоимость сбора: 53 280 ₽. Цифры условные: введите свои, чтобы увидеть свой результат.
Зачем и как рассуждать
Опрос даёт оценку доли, например «сколько покупателей вернулось бы за такой же вещью», и у любой оценки есть интервал. Его ширина зависит от числа ответов: погрешность равна квантилю, умноженному на корень из p(1 − p), делённого на n. Квантиль задаёт доверительная вероятность (для 95 % это 1,96), доля p при незнании берётся 50 %, потому что тогда выборка получается наибольшей. Квоты и взвешивание увеличивают нужное число ответов в несколько раз, а для небольшой базы есть поправка на конечность. В примере для ±5 п. п. при базе 12 000 и эффекте 1,2 нужно 444 ответа; при доле ответивших 12 % это 3 700 приглашений и 53 280 ₽. Если читать три среза с той же погрешностью, нужно 1 332 ответа, потому что каждый срез это отдельный опрос.
Когда применять
Применяйте перед опросом, чтобы понять, сколько ответов и денег нужно, и после сбора, чтобы честно прочитать результат и срезы. Не заменяет интервью: чтобы найти причины и слова клиентов, хватит 8–15 бесед, а выборка нужна только для оценки долей. Не подходит, если опрошенные отобраны по желанию: смещение больше погрешности. Для небольшой базы работает поправка на конечность.
Как читать результат
Смотрите на число ответов, приглашения и погрешность срезов. Если собрано 400 ответов, общая оценка читается с погрешностью около 5,3 п. п.: разницу меньше этого между двумя долями замечать нельзя. Срез в четверть выборки (100 ответов) читается с погрешностью около 11 п. п. Решение: либо увеличить выборку, либо читать срезы только по большой разнице, либо объединить их. Не забудьте о смещении: никакое число ответов не исправит, что отвечали только самые лояльные. Сравните состав ответивших с составом базы по давности и сумме покупок.
Типичные ошибки
Читают срез так, будто у него погрешность всей выборки. Берут долю ответивших с чужого опроса. Не вносят в стоимость приглашения, которые не дошли до конца. Сравнивают доли двух опросов с разной формулировкой вопроса. Принимают погрешность за точность: она не учитывает смещение отбора.
Какие данные нужны?
- Допустимая погрешность и доверительная вероятность: решает команда до сбора.
- Размер базы, из которой выбирают, и ожидаемая доля ответа (при сомнении 50 %).
- Доля ответивших и цена ответа по прошлым опросам; срезы, которые будете читать отдельно.
Какие поля вводятся
| Поле | Единица | Значение в примере | Что означает |
|---|---|---|---|
| Доверительная вероятность | % | 95 | С какой вероятностью истинная доля попадёт в интервал: чаще берут 95 %. Для выгрузки в Excel поддержаны 90, 95 и 99. Значение примера условное. |
| Допустимая погрешность | п. п. | 5 | Полуширина интервала в процентных пунктах: «±5 п. п.» значит, что доля 40 % читается как от 35 до 45 %. Значение примера условное. |
| Ожидаемая доля ответа | % | 50 | Если доля неизвестна, берут 50 %: тогда выборка получается наибольшей и даёт запас. Для редких событий поставьте ожидаемую долю. Значение примера условное. |
| Размер базы, из которой выбирают | чел. | 12 000 | Сколько людей в базе покупателей или подписчиков; 0 значит очень большая база без поправки на конечность. Значение примера условное. |
| Эффект квот и весов | × | 1,2 | Во сколько раз квоты и взвешивание увеличивают нужное число ответов; 1 для простой случайной выборки. Значение примера условное. |
| Доля ответивших из приглашённых | % | 12 | Сколько приглашённых доходит до конца анкеты: у рассылки по своей базе доля обычно ниже, чем у панели; берите по прошлым опросам. Значение примера условное. |
| Стоимость одного ответа | ₽ | 120 | Поощрение, панель, время на рассылку и обработку в расчёте на один законченный ответ, без НДС. Значение примера условное. |
| Срезов, которые читают отдельно | срезов | 3 | Сколько групп вы хотите сравнивать между собой с той же погрешностью: на каждую нужна своя выборка. Значение примера условное. |
| Ответов уже собрано | шт. | 400 | Фактическое число законченных анкет: по нему считается погрешность общей оценки и срезов. Значение примера условное. |
Как считается
| Шаг | Формула |
|---|---|
| Число ответов | n₀ = эффект × z² × p × (1 − p) / e² |
| Поправка на базу | n = n₀ / (1 + (n₀ − 1) / N) |
| Приглашений | n ÷ доля ответивших |
| Погрешность среза | z × √(эффект × p × (1 − p) / n среза) |
Пример на цифрах
Значения по умолчанию из приложения; в интерактивной версии вы подставляете свои.
- Ответов нужно
- 444Законченных анкет для заданной погрешности с поправкой на конечность базы и эффект квот.
- Без поправок на базу и квоты
- 384Простая формула для большой базы: z² p (1 − p) / e².
- Приглашений нужно
- 3 700
- Стоимость сбора
- 53 280 ₽
- Ответов на все срезы, если каждый с той же погрешностью
- 1 332Каждый срез читается как отдельный опрос: выборку умножают на число срезов.
- Погрешность общей оценки при собранных ответах
- 5,3 % п. п.
Данные таблицей
| Показатель | Погрешность |
|---|---|
| 100 | 10,7 |
| 200 | 7,5 |
| 400 | 5,3 |
| 800 | 3,7 |
| 1600 | 2,5 |
| 3200 | 1,6 |
Погрешность по срезам при собранных ответах
| Срез | Доля | Ответов | Погрешность, п. п. |
|---|---|---|---|
| Постоянные клиенты | 30 % | 120 | 9,6 |
| Новые клиенты | 45 % | 180 | 7,9 |
| Ушедшие клиенты | 25 % | 100 | 10,6 |
Самый малый срез читается с погрешностью около 10,6 п. п. при допустимых 5: сравнивать срезы по небольшой разнице нельзя.
Выборка работает, только если опрошенные похожи на всю базу: ответы тех, кто охотно отвечает, смещены, и никакая погрешность этого не исправит. Для поиска причин и формулировок хватает 8–15 глубинных интервью, для оценки доли нужна выборка.
Нюансы и ограничения
- Читать срезы так, будто у них та же погрешность, что у всей выборки: у среза она шире.
- Думать, что большая выборка исправит смещение: опрошенные охотнее всего отвечают лояльные.
- Не закладывать долю ответивших: число приглашений оказывается в разы меньше нужного.