Как разобрать чужое исследование и не скатиться в спор о вкусах

Собирать данные вы уже умеете. Теперь вы отвечаете за то, что из них можно, а чего нельзя выводить.

Две ловушки ступени

• Молчание из вежливости. Вы видите, что отчёт не держится, но коллега старался, а совещание идёт к концу. Через месяц решение принято, деньги потрачены, и выясняется, что опрашивали двадцать человек из одного чата. Ваша роль здесь — сказать вовремя, а не оказаться правым задним числом.
• Роль скептика. Обратная крайность: вы придираетесь к каждой цифре, и команда перестаёт приносить вам данные. Признак — вас зовут, когда решение уже принято, «чтобы не тормозить процесс». Лекарство простое: на каждое «это не держится» приносите «а вот это держится, и вот что из этого следует».

Первый навык. Самая дорогая ошибка исследования делается до его начала.

Каждый метод отвечает на свой тип вопроса, и подмена обычно плохо работает. Пять разговоров не скажут, насколько часто это встречается. Опрос на тысячу человек не объяснит, почему они так делают. Аналитика покажет, где люди отваливаются, но не расскажет, что у них при этом происходило.

Когда правильный ответ — «исследование не нужно»

• Решение дешевле проверить, чем исследовать. Поменять текст кнопки и посмотреть на метрику иногда быстрее любого опроса.
• Ответ уже известен. Если исследование подтвердит то, что все и так делают, оно может превратиться в двухнедельную церемонию.
• Решение всё равно принято. Честнее сказать это вслух, чем провести исследование, которое никто не собирался учитывать.
• Вопрос не про пользователей. «Сколько это будет стоить в разработке» — вопрос к команде, а не к людям.

Второй навык. Недооценённая проблема в опросах: после сбора её уже почти не починить.

Вы знаете только тех, кто ответил. Про остальных данных нет. И часто они отличаются: отвечают те, у кого есть повод, время и мнение. Вопрос, который вы должны уметь задать себе и другим, звучит так: что должно быть правдой про неответивших, чтобы вывод развалился?

Для рабочего разговора не всегда нужен сложный расчёт — часто достаточно прикинуть границы. Ниже калькулятор: он показывает, в каких пределах гуляет ответ по всей базе, если предположения о неответивших меняются.

Признаки, что выборка смещена сильно

• Ответило меньше 10 %. Не приговор, но повод писать «те, кто ответил», а не «пользователи».
• Приглашали через один канал. Подписчики канала, участники чата, посетители конференции — это не аудитория продукта, это её самая вовлечённая часть.
• Была награда. Розыгрыш и подарок притягивают людей, которым нужен подарок, а не тех, у кого есть что сказать.
• Спрашивали в момент эмоции. Сразу после ошибки или сразу после успешной покупки — обе картины перекошены, в разные стороны.
• Анкета была длинной. До конца доходят самые терпеливые и самые заинтересованные — а это уже другая группа, чем те, кто начал.
• Невозможно сказать, скольким отправили. Пост в соцсетях: знаменатель неизвестен, доля отклика не считается, о смещении сказать нечего.

Третий навык. Любой отчёт разбирается по одной и той же схеме, и она короткая.

Не нужно читать чужой отчёт как охоту за ошибками. Надо задать три вопроса в фиксированном порядке — и почти все проблемы находятся на первых двух. Порядок важен: если сломана первая точка, вывод уже нужно сужать, даже если остальная часть отчёта выглядит аккуратно.

Ниже отчёт, похожий на рабочий. Прочитайте его сами, решите, что здесь держится, — потом включите разбор.

Четвёртый навык. Разница между «мне кажется» и «эти данные этого не показывают» — в том, что второе проверяемо.

Когда вы говорите «я не думаю, что людям нужен тёмный режим», вы ставите своё мнение против чужой цифры. Обычно это слабая позиция: у них диаграмма, у вас ощущение.

Другое дело — «в анкете спросили „хотели бы вы“, а на такой вопрос все отвечают да». Здесь вы спорите не с желанием людей, а с тем, что из вопроса сделали слишком широкий вывод.

Вы показываете, что вывод не следует из того, как собирали. Возразить на это можно только фактом про метод.

Четыре шага разговора

1. Согласитесь с тем, что держится. Начните с «вот это хорошая находка, её беру» — и назовите конкретную. Тогда дальнейшее не читается как атака.
2. Назовите механизм, а не вывод. Что именно в сборе данных не позволяет так утверждать: кого спрашивали, как спрашивали.
3. Скажите, что можно утверждать вместо этого. Отклонённый вывод часто можно переформулировать в более узкий и честный. Это важнее самого отклонения: вы не обнуляете чужую работу, а сужаете её до честного.
4. Предложите, чем закрыть пробел, с ценой в днях. «Два дня аналитики» обсуждается, «нужно нормальное исследование» — нет.

Пятый навык. Оговорка в конце отчёта часто не работает: её пролистывают.

Проблема оговорок в том, что они часто звучат как ритуальная скромность. «Выборка небольшая, результаты носят предварительный характер» — эту фразу легко прочитать как «автор вежливый», а не как «цифру нельзя брать без условий». Чтобы неопределённость учли, её надо перевести в то, чем рискует команда, и поставить туда, где принимается решение.

Три приёма, которые реально работают

• Называйте вилку, а не точку. «Где-то между 30 и 70 %» честнее, чем «примерно 50 %»: так видно, что вы понимаете пределы данных.
• Переводите в решение, а не в статистику. Не «доверительный интервал широкий», а «при худшем раскладе мы потратим спринт зря».
• Ставьте оговорку рядом с цифрой, в ту же строку. Оговорка в конце документа физически не доезжает до совещания, где на цифру ссылаются.

Взять чужое исследование и написать разбор.

По шагам

1. Найдите исследование (30 мин). Своей команды — лучше всего. Если нет — публичное: отчёты компаний, исследования рынка, статьи с цифрами про пользователей. Своё прошлое исследование лучше не брать: к собственной работе трудно быть внимательным без защиты.
2. Разберите по трём точкам (1,5 ч) из раздела 4. По каждой точке выпишите, что известно и чего в отчёте нет.
3. Разложите выводы на три группы (1 ч): держится · нужна оговорка · не держится. Для каждого отклонённого вывода назовите механизм: что именно в сборе данных не позволяет так утверждать.
4. Переформулируйте отклонённое (30 мин). Что можно утверждать вместо этого — более узко, но честно.
5. Предложите, чем закрыть пробелы (30 мин), с ценой в днях по каждому.
6. Если исследование своей команды — обсудите разбор с автором и запишите, с чем он не согласился.

Ориентир: 4–5 часов.

Что сдаём

• Шапка: что за исследование, кто делал, какой вопрос решало.
• Три точки: кого спрашивали, как спрашивали, что из этого следует — с тем, чего в отчёте не хватает.
• Выводы по группам: держится · с оговоркой · не держится, с механизмом по каждому отклонённому.
• Переформулировки отклонённых выводов до честного размера.
• Что предлагаете сделать дальше и сколько это стоит в днях.

Чего в разборе быть не должно

• Отклонения по содержанию. «Вывод неверный, потому что я думаю иначе» — это спор о вкусах, от которого урок как раз уводит.
• Сплошного негатива. Если у вас не нашлось ни одного вывода, который держится, проверьте себя на предвзятость. Такой разбор сложно принять.
• Придирок к оформлению. Кривая диаграмма — не то же самое, что неверный вывод. Отметьте отдельно и не смешивайте.
• Требований без цены. «Нужно нормальное исследование» не обсуждается; «два дня аналитики» обсуждается.

Разбор чужого исследования готов, если

• Известно, сколько человек, из скольких и через какой канал их нашли
• Есть дословные формулировки вопросов — или отмечено, что их нет
• Названо, кого в выборке заведомо не было
• Каждый вывод отнесён к одной из трёх групп
• По каждому отклонённому назван механизм, а не несогласие
• Отклонённые выводы переформулированы до честного размера
• Есть хотя бы один вывод, который держится, и это сказано прямо
• Предложения закрыть пробелы имеют цену в днях

Свой опрос готов к показу, если

• Метод выбран под вопрос, и объяснено, почему не другой
• Названа доля отклика и, где возможно, сказано, чем ответившие отличаются от остальных
• Прикинута вилка: как меняется вывод при разных предположениях о неответивших
• Оговорки стоят рядом с цифрами, а не в конце документа
• Названо, что не подтвердилось
• Сказано, под какие решения этих данных хватает, а под какие нет

Ошибки, характерные для этой ступени

• Спор о выводе вместо разговора о методе. «Я не согласен» против чужой диаграммы — проигрышная позиция, даже когда вы правы.
• Разбор, где всё плохо. Читается как придирка, вызывает защиту и редко меняет решение.
• Молчание из вежливости. Вы видели слабое место, но не сказали — а через месяц решение уже принято.
• Одинаковая строгость ко всему. Требовать доказательности от смены текста кнопки так же, как от переписывания оплаты.
• Оговорка в конце отчёта. До совещания она не доезжает, на цифру ссылаются без неё.
• Неопределённость в терминах статистики. «Широкий доверительный интервал» вместо «при худшем раскладе спринт потрачен зря».
• Проценты от маленьких чисел в чужом отчёте пропущены. «84 %» от 112 человек из одного канала — несколько проблем в одной строке, и их стоит назвать.
• Метод выбран по привычке. Опрос, потому что вы умеете опросы, — хотя вопрос можно было закрыть просмотром аналитики за час.
• «Нужно больше данных» как универсальный ответ. Иногда данных достаточно, а решение просто неприятное.
• Отклонили вывод и на этом остановились. Без переформулировки и без предложения, что делать дальше, разбор оставляет команду ни с чем.

Тема закрыта. Ниже — вся лестница одним взглядом.

• Surveys That WorkКэролайн Джарретт, 2021 · книга на английском · платнаяГлава 2 — три ошибки выборки (кого нет в списке, кого не спросили, кто не ответил) и мысль «правильный отклик лучше большого»; глава 3 — почему ответ расходится с вопросом. В открытом доступе только глава 1 и дополнения автора на его сайте.
• Как лгать при помощи статистикиДарелл Хафф · книга на русском · платнаяДесять коротких глав 1954 года: смещённая выборка, «удобное» среднее, разница в пределах погрешности, обрезанная ось, вывод о причине из совпадения. Глава 1 о выборке — те же вопросы, что в разделах 3–4 урока; примеры американские и старые.
• Графики лгутАльберто Кайро · книга на русском · платнаяШесть глав о том, как график вводит в заблуждение: плохо построен, показывает непроверенные или неполные данные, прячет неопределённость, подсказывает ложную закономерность. Перевод 2022 года; открыты оглавление, пролог и начало введения.
• Convenience vs. Probability Sampling in UX ResearchNielsen Norman Group, Рейчел Банава · на английском · бесплатноПочему рассылка по своей базе, соцсетям или панели — удобная, а не случайная выборка и когда по ней нельзя судить о доле во всей аудитории. Про тех, кто получил анкету и не ответил, в статье почти ничего нет.
• Interpreting Contradictory UX Research FindingsNielsen Norman Group, Кейт Моран · на английском · бесплатноЧто делать, когда количественный тест и интервью говорят разное: сначала проверить участников, задания, условия и расчёт, потом толковать. Разбор случая 2019 года.