Что попробуете на практике
- Понимать, кто отвечает на анкету, а кто нетсимулятор
- Разослать готовую анкету и собрать ответы
- Считать доли, а не только количествакалькулятор
- Называть выборку: сколько ответило и из сколькихтренажёр
- Замечать вопросы, которые стоит уточнитьтренажёр
1Что опрос умеет и чего от него ждать не надо
Опрос помогает собрать ответы по одним и тем же вопросам и сравнить их. Границы выводов зависят от анкеты и выборки.
С помощью опроса можно узнать, сколько участников сообщили об определённом опыте, выбрали вариант или дали оценку. Например, с какого устройства они заходят или сталкивались ли с трудностью за последний месяц. Ответы можно посчитать и сопоставить.
Ответ «неудобно» сам по себе не объяснит, что произошло. В анкете можно спросить о причинах, но для подробного разбора ситуации часто полезнее интервью или юзабилити-тест. Выбирайте метод под вопрос, на который ищете ответ.
| Вопрос, который у вас есть | Опрос тут подходит? |
|---|---|
| Сколько наших пользователей заказывают с телефона? | Да, с оговорками. Ответы описывают участников; данные о действиях также можно искать в аналитике |
| Почему люди бросают оформление заказа? | Для начала полезны интервью. Они помогут разобраться в обстоятельствах ухода |
| Какой вариант экрана удобнее? | Нет. Люди плохо оценивают экраны по картинке; это юзабилити-тест |
| Как часто люди сталкиваются с проблемой, которую мы нашли на интервью? | Да. Классическое применение: интервью нашло, опрос посчитал |
| Что люди думают о нашем бренде? | Да, если уточнить задачу. Продумайте, какие именно оценки нужны и как их измерять |
2Кто вообще отвечает на анкеты
Те, кто ответил, могут отличаться от тех, кто пропустил приглашение. Учитывайте это при разборе результатов.
После рассылки отвечают люди, которые увидели приглашение, нашли время и захотели участвовать. На это могут влиять интерес к теме, недавний опыт, активность и другие причины. Поэтому ответивших нельзя автоматически считать случайной частью аудитории.
Ответы могут отличаться от картины среди всех пользователей. Направление и размер этого смещения не известны заранее. Описывайте способ приглашения, состав ответивших и ограничения. Одна лишь доля отклика не определяет качество выборки — это отмечено в рекомендациях AAPOR.
Все пользователи: 500 человек
Так устроена аудитория в этой модели. Нажмите «Кто ответил», чтобы сравнить её с участниками опроса. В реальном исследовании состав и причины отклика нужно выяснять отдельно.
Только те, кто ответил: 62 человека
Среди ответивших недовольных — 32 %. Среди всех пользователей их 15 %. В этой учебной модели доля недовольных среди ответивших вдвое выше: для разных групп задана разная вероятность ответа. Это один из возможных сценариев смещения.
Что с этим делать на практике
- Укажите, кого пригласил и сколько человек ответило. Это помогает понять, как собраны данные. Само число ответов ещё не показывает, насколько выборка похожа на аудиторию.
- Сравните состав ответивших с аудиторией, если есть данные. Например, по активности и стажу использования. Заметные различия укажите в отчёте.
- Выбирайте каналы под аудиторию. Подписчики, участники чата и пользователи продукта могут иметь разный опыт. Если работаете с одной группой, не переносите её ответы на остальных.
- Не оценивайте достоверность по одному порогу отклика. При любом числе ответов проверьте, кто получил приглашение, кто ответил и каких участников может не хватать.
- Учитывайте момент приглашения. Опрос сразу после ошибки описывает опыт людей в этой ситуации. Он может быть полезен для разбора ошибки, но не обязательно для общей оценки продукта.
3Готовая анкета и как её разослать
Вот та анкета, с которой нужно сделать задание. Подставьте свой продукт вместо скобок.
В шаблоне восемь вопросов. Перед рассылкой проверьте, все ли они нужны для вашей задачи и сколько времени занимает заполнение. Три минуты — предварительный ориентир, который нужно проверить на пробном прохождении.
Вступление перед первым вопросом:
- Ни разу
- 1–2 раза
- 3–5 раз
- 6 раз и больше
- Не помню
- Телефон
- Компьютер
- Планшет
- По-разному, примерно поровну
- На этой неделе
- Ранее в этом месяце
- До начала этого месяца
- Ни разу
- Не помню
- Не смог найти то, что искал
- Пришлось переделывать что-то заново
- Не понял, что происходит после моего действия
- Пришлось писать в поддержку
- Ничего из перечисленного
- Да, с первой
- Не сразу, но справился сам
- Пришлось просить помощи
- Так и не получилось
- Ещё не пробовал
- Не помню
- 1 — очень трудно · 5 — очень легко
- Не пробовал
- Не могу оценить
- Поле для ответа, не обязательное
- Да, готов обсудить участие
- Нет, спасибо
Куда рассылать и чего ожидать
| Канал | От чего зависит отклик | Что учесть |
|---|---|---|
| Всплывающее окно в продукте | от момента и способа показа | Приглашение видят активные в этот момент люди; учитывайте контекст показа |
| Письмо по базе | от базы и приглашения | Можно учесть отправленные и доставленные приглашения |
| Сообщение в чате поддержки | от темы обращения | Это опыт обратившихся в поддержку; он не описывает всю аудиторию |
| Пост в соцсетях продукта | непредсказуемо | Если число получивших приглашение неизвестно, долю отклика определить нельзя |
| Профильные чаты и знакомые | по-разному | Годится для учебной задачи; для рабочей — только как дополнение |
- Учтите число приглашений. Для адресной рассылки запишите, скольким отправил и сколько доставлено. Если приглашение опубликовано в чате, количество его участников не равно числу людей, которые увидели сообщение.
- Для задания выделите три-четыре дня и при необходимости напомните один раз. Подстройте срок под доступность участников.
- Проверьте анкету до рассылки. Пройдите её сами и попросите одного человека из целевой аудитории. Уточните непонятные вопросы, проверьте шкалы и ветвление.
- Согласуйте вступление с настройками. Если обещаете анонимность или возможность пропуска, проверьте, что форма действительно так работает.
5«Из скольких»: главная строчка всего отчёта
Указывайте число ответивших рядом с долей, чтобы читатель мог оценить объём данных.
Восемь из десяти и восемьсот из тысячи — в обоих случаях 80 %. Но в маленькой выборке каждый ответ меняет долю заметнее: при десяти участниках это 10 процентных пунктов. Поэтому рядом с процентом нужны исходные количества. Большая выборка тоже не устраняет ошибки отбора сама по себе.
Насколько вообще можно верить цифре
Размер выборки влияет на случайную погрешность. Ниже — примерные 95%-е интервалы Уилсона для доли 50 % при независимом случайном отборе. Это иллюстрация влияния размера выборки, а не оценка точности добровольного опроса в чате: смещение отбора в эти интервалы не входит. Подробнее о методе — в справочнике NIST.
| Ответило человек | Получилось в опросе | Примерный интервал при этих условиях |
|---|---|---|
| 10 | 50 % | 24–76 % — широкий интервал |
| 30 | 50 % | 33–67 % |
| 100 | 50 % | 40–60 % |
| 400 | 50 % | 45–55 % |
| 1000 | 50 % | 47–53 % |
Для задания достаточно показать исходные числа и не переносить небольшие различия на всю аудиторию. Если варианты выбрали 16 и 14 из 30, так и напишите. Разница в ответах есть, но этого недостаточно, чтобы утверждать, что предпочтение устойчиво среди всех пользователей.
Как описывать результаты точно
| Не хватает контекста | Точнее |
|---|---|
| «80 % пользователей хотят тёмную тему» | «8 из 10 ответивших выбрали тёмную тему. Ответило 10 человек — этого мало для выводов, нужен повторный опрос» |
| «Большинство заходит с телефона» | «С телефона заходят 21 из 34 ответивших (62 %)» |
| «35,29 % столкнулись с проблемой» | «12 из 34 (35 %) отметили, что не нашли нужное» |
| «Вариант Б популярнее варианта А» (16 против 14) | «Варианты разделились примерно поровну: 16 и 14 из 30» |
| «Пользователи считают, что…» | «Те, кто ответил на анкету, считают, что…» |
С телефона заходят 21 из 34 ответивших (62 %).
Можно писатьУказаны количество, доля и число ответивших. Понятно, к какой группе относится результат.
80 % пользователей хотят тёмную тему.
Ответили 10 человек, 8 выбрали тёмную тему.Нужно уточнить8 из 10 — это 80 %, расчёт верный. Ошибка в обобщении на всех пользователей. Точнее: «8 из 10 ответивших выбрали тёмную тему». Укажите также, как их пригласили.
Вариант Б популярнее среди всех пользователей: его выбрали 16 против 14 из 30 ответивших.
Нужно уточнитьВ этой выборке Б выбрали чаще: 16 против 14. Но этих данных недостаточно, чтобы утверждать устойчивое предпочтение среди всех пользователей. Покажите числа и ограничение.
12 из 32 ответивших на этот вопрос (38 %) не нашли нужное. Четверо вопрос пропустили.
Можно писатьОтлично: указано и число ответивших именно на этот вопрос, и то, что кто-то его пропустил.
Проблему отметили 35,29 % собеседников.
Нужно уточнитьНе указан знаменатель. Если речь о 12 из 34, понятнее написать «12 из 34 (35 %)»: сотые доли здесь не добавляют полезной точности.
Анкету получили 520 человек, ответили 34 — это 6,5 %.
Можно писатьЭто шапка отчёта: сразу видно и охват, и отклик. Читатель понимает масштаб до того, как увидит первую цифру.
Большинство наших клиентов довольны сервисом.
Довольны 19 из 34 ответивших.Нужно уточнить19 из 34 — действительно больше половины ответивших. Но это не основание говорить обо всех клиентах. Добавьте исходные числа и назовите именно участников опроса.
Сумма долей в этом вопросе больше 100 %, потому что можно было выбрать несколько вариантов.
Можно писатьОбязательная пометка. Она объясняет, почему сумма долей может превышать 100 %.
6Как понять, что вопрос стоит уточнить
Проверьте, какую информацию даёт вопрос и можно ли использовать её для задачи исследования.
Вопрос должен помогать ответить на задачу исследования. Если 97 % выбрали один вариант, это может быть содержательным результатом. Но стоит проверить формулировку: не подсказывает ли она ответ, понятны ли варианты и даёт ли ответ нужную информацию.
Почему так получается — три обычные причины
- Вопрос слишком общий. «Важна ли скорость?» мало помогает понять опыт ожидания. Полезнее спросить, сталкивался ли человек с задержкой, когда и что сделал.
- Формулировка подталкивает к согласию. В вопросе «Согласны ли вы, что удобный поиск делает покупки приятнее?» уже заложена положительная оценка.
- Может быть неловко ответить иначе. Вопрос о чтении условий иногда вызывает желание дать одобряемый ответ. Нейтрально спросите о последнем случае и предложите варианты, в том числе «не помню».
Если ответы оказались похожими, сохраните результат и проверьте возможные объяснения. При проблеме в формулировке опишите её отдельно: «Почти все назвали скорость важной, но вопрос не показывает, где люди сталкивались с задержками».
Важна ли вам скорость работы сервиса?
Ответили: важна — 33, не важна — 1.Стоит уточнитьВопрос показывает заявленную важность скорости, но мало говорит об опыте ожидания. Если нужно разобраться в задержках, спросите о конкретном периоде и действиях.
С какого устройства вы заходите чаще всего?
Телефон — 21, компьютер — 9, по-разному — 3, планшет — 1.Подходит для сбора опытаОтветы показывают, какие устройства участники называют основными. В отчёте укажите число ответивших и не переносите распределение на всех без оснований.
Читаете ли вы условия перед оплатой?
Да — 29, нет — 5.Стоит уточнитьОбщий вопрос может вызвать желание дать одобряемый ответ. Уточните последний случай и предложите нейтральные варианты. По распределению 29 и 5 нельзя само по себе заключить, что люди ответили неверно.
Получилось ли у вас с первой попытки?
С первой — 16, не сразу — 9, просил помощи — 3, не вышло — 2.Подходит для сбора опытаЕсли из контекста понятны действие и последний случай, ответы описывают его результат. Укажите знаменатель и не делайте вывод о причинах без дополнительных данных.
Согласны ли вы, что удобный поиск делает покупки приятнее?
Согласны — 32, не согласны — 2.Стоит уточнитьВ формулировке уже есть положительная оценка. Если задача — узнать об опыте поиска, спросите, удалось ли найти нужное в конкретный период.
Что случалось с вами за последний месяц?
Не нашёл нужное — 12, писал в поддержку — 9, переделывал — 7, ничего — 11.Подходит для сбора опытаУказаны период и конкретные события. Для отчёта нужны число ответивших и пометка о множественном выборе: сумма отметок не равна числу людей.
Хотели бы вы, чтобы приложение работало быстрее?
Да — 34, нет — 0.Стоит уточнитьВопрос предлагает улучшение без контекста. Он мало говорит о том, где скорость мешает человеку. Единодушие само по себе не делает вопрос ошибочным; здесь важно уточнить цель и формулировку.
7Страница результатов
То, что нужно сдать по заданию. Ниже — готовый образец, по которому можно собрать свой.
Для задания соберите одну страницу: кто отвечал, распределение ответов и три наблюдения. Отделите видимые результаты от предположений о причинах. Решения по продукту здесь разбирать необязательно.
Опрос про оформление заказа
Кто ответил
Ответили в основном активные пользователи: 24 из 34 пользовались продуктом три раза и больше за последние 7 дней. Среди всех наших пользователей таких примерно треть. Активные пользователи представлены сильнее, поэтому ответы нельзя автоматически переносить на всю аудиторию. Анкета была анонимной, вопросы можно было пропускать — поэтому у каждого вопроса своё число ответивших.
С какого устройства заходят · ответили 34 из 34
Что случалось за последний месяц · ответили 32 из 34 · можно было выбрать несколько
Получилось ли с первой попытки · ответили 30 из 34
Три наблюдения
1. Среди ответивших чаще заходят с телефона. Этот вариант выбрал 21 из 34 участников (62 %), компьютер — 9 из 34 (26 %). Эти числа описывают ответы в нашем опросе.
2. Не все нашли нужное. 12 из 32 ответивших на вопрос (38 %) выбрали этот пункт. Это самый частый из перечисленных вариантов. Анкета не показывает, что именно они искали; это можно уточнить на интервью.
3. Вопрос о скорости доставки стоит уточнить. В этом учебном примере анкета дополнена вопросом «Важна ли вам скорость доставки?». Его выбрали 33 из 34 участников. Ответ показывает заявленную важность, но не объясняет, какое время ожидания для них приемлемо.
Чего этот опрос не показывает
Ответили 34 человека из 520 приглашённых, причём активные пользователи представлены сильнее. Поэтому мы описываем ответы участников, а не всю аудиторию. Варианты «писал в поддержку» и «переделывал заново» выбрали 9 и 7 человек: это разные числа, но такой разницы недостаточно для вывода об устойчивом различии в аудитории.
Как собрать такую страницу у себя
- Выгрузите ответы в таблицу. Обычно строка соответствует участнику, а столбец — вопросу.
- Посчитайте ответивших на каждый вопрос. Это знаменатель для долей в этом вопросе.
- Посчитайте, сколько людей выбрали каждый вариант. Для одного варианта можно использовать
=СЧЁТЕСЛИ(). Чтобы получить долю, разделите количество на число ответивших на вопрос. - Построй столбчатые диаграммы. Добавьте подписи с количеством и долей; для сравниваемых графиков проверьте шкалы.
- Запишите три наблюдения. Опишите то, что видно в ответах, и не добавляйте неподтверждённые причины.
- Опишите ограничения. Что не удалось узнать и на кого нельзя перенести результаты?
8Задание
Анкета из раздела 3, минимум тридцать ответов, одна страница результатов.
По шагам
- Адаптируйте анкету (около 20 мин). Выберите свой или знакомый продукт, уточните действие в вопросах. Если проводите учебный опрос чужого сервиса, прямо напишите, что не представляете его команду.
- Соберите анкету в сервисе форм (около 40 мин). Настройте пропуск вопросов и варианты «не пробовал» или «не могу оценить», где они нужны.
- Проверьте анкету (около 15 мин). Пройдите её сами и попросите знакомого с подходящим опытом. Измерьте длительность и уточните её во вступлении.
- Разошли анкету и запишите канал приглашения (1 вечер). Для личных приглашений учтите число адресатов. Для поста в чате не подменяйте охват общим числом участников.
- Подождите три-четыре дня и напомните один раз.
- Выгрузите ответы в таблицу (30 мин) и посчитайте по каждому вопросу: сколько ответило, сколько выбрало каждый вариант, какие доли.
- Соберите страницу результатов (1–1,5 ч) по образцу из раздела 7.
Ориентир: 4–6 часов работы плюс несколько дней ожидания ответов.
Что должно быть на странице
- Шапка: даты, скольким отправили, сколько ответило, доля отклика.
- Абзац «кто ответил»: что известно о тех, кто заполнил анкету, и чем они могут отличаться от всех остальных.
- Столбики по вопросам, у каждого блока — своё «ответили N из 34».
- Три наблюдения, в каждом цифра в формате «12 из 32 (38 %)».
- Раздел «чего этот опрос не показывает» — что осталось неизвестным и какие различия нельзя уверенно переносить на всю аудиторию.
Если ответов меньше тридцати
Если ответов меньше тридцати, задание всё равно можно выполнить. Покажите реальные числа и опишите способ сбора. При необходимости попробуйте другой подходящий канал, но учитывайте, что состав участников может измениться.
9Чек-лист и типовые ошибки
До рассылки
- Анкета проходится меньше чем за четыре минуты
- Вопросы можно пропускать
- Прошёл сам и дал пройти знакомому
- Для адресной рассылки записано, сколько людей получат приглашение
- Условия во вступлении соответствуют тому, как будет проведён опрос
Перед тем как показывать результаты
- У каждой цифры написано, из скольких она посчитана
- Для адресных приглашений указано, сколько ответили из приглашённых; неизвестный охват не подменён оценкой
- Есть описание ответивших и известных ограничений выборки
- Проценты округлены до целых, рядом стоят люди
- Вопросы с несколькими вариантами помечены — сумма может превышать 100 %
- Небольшие различия не объявлены устойчивой закономерностью без проверки
- Слово «пользователи» заменено на «те, кто ответил»
- Есть раздел про то, чего опрос не показывает
Что проверить при разборе ответов
- Проценты без «из скольких». Главная ошибка темы. «80 %» без числа ответивших — цифра, которую нельзя ни проверить, ни правильно понять.
- Восемь из десяти как «80 % пользователей». Доля рассчитана верно, но описывает ответивших, а не всех пользователей.
- «Пользователи считают…» вместо «те, кто ответил, считают». Состав ответивших может отличаться от всей аудитории.
- Проценты с запятыми. «35,29 %» на тридцати ответах — избыточная точность: здесь понятнее показать «12 из 34 (35 %)».
- Считает от общего числа участников, а не от ответивших на конкретный вопрос.
- Не проверил, помогает ли вопрос задаче исследования. «97 % считают качество важным» может быть верным результатом, но не объясняет, что именно нужно улучшить.
- Разница в один-два человека объявлена трендом. Разницу можно описать, но нельзя без проверки объявлять устойчивым предпочтением всей аудитории.
- Не описан способ приглашения. Для адресной рассылки укажите число приглашённых и ответивших. Если охват неизвестен, так и напишите — долю отклика в этом случае не рассчитать.
- Рассылает только своим — в дружеский чат и подписчикам — и переносит ответы этого круга людей на всю аудиторию.
- Круговая диаграмма на семь кусков. Близкие доли трудно сравнить; столбики помогут показать различия понятнее.
- Делает выводы о причинах. «Люди не находят товар, потому что плохой поиск» — опрос этого не говорил, это догадка.
10Что остаётся на следующие ступени
| Уровень | Что добавляется |
|---|---|
| Junior — этот урок | Разослать готовую анкету и понимать, кто отвечает; свести ответы в таблицу и посчитать доли; называть выборку и «из скольких»; замечать вопросы, которые стоит уточнить; не выдавать 8 из 10 ответивших за 80 % всех пользователей |
| Middle | Составлять анкету под свой вопрос; формулировать варианты ответов так, чтобы они не подсказывали; считать, сколько ответов нужно, и оценивать погрешность; сравнивать группы между собой и понимать, настоящая ли разница; чистить данные от мусорных ответов; связывать опрос с интервью и аналитикой |
| Senior | Строить регулярные измерения и следить за цифрами во времени; выбирать между опросом и другими способами узнать то же самое; защищать результаты перед теми, кому они не нравятся; отвечать за качество чужих опросов; понимать, когда цифра стала показателем и перестала быть измерением |
Что почитать дальше
- Writing Good Survey Questions: 10 Best PracticesДесять частых ошибок в анкетах с примерами плохих и хороших формулировок: почему нельзя просить человека предсказать своё поведение и чем «сколько раз за последние 7 дней» лучше «как часто вы обычно». Статья 2023 года.
- Surveys That WorkОпрос по семи шагам — от цели до отчёта. Для начала хватит открытой главы 1: как свести список вопросов к одному главному и заранее решить, что сделаете с ответом. Автор строже урока в порядке методов — «сначала интервью, потом опрос».
- The Functional ArtПочему длины и положения сравнивать точнее, чем углы и площади, — отсюда столбики вместо круговой диаграммы, — и как выбрать форму графика под вопрос. Книга 2012 года о журналистской инфографике; открыты введение и глава 1.