Чему научитесь
- Формулировать, что проверяем и что считаем проваломтренажёр
- Писать задания без подсказокразметка текста
- Выбирать между модерируемым тестом и записью без модератораподбор
- Раскладывать находки по серьёзностиматрица + тренажёр
- Показывать «до и после» так, чтобы было видно, какую находку закрывает каждая правка
1Что меняется по сравнению с прошлой ступенью
Техника модерирования та же. Меняется то, что происходит до теста и после него.
| Junior | Middle | |
|---|---|---|
| Что проверяем | дано в сценарии | решаете сами и формулируете критерий провала |
| Задания | готовые | пишете под конкретное решение |
| Формат | модерируемый по умолчанию | выбираете и объясняете выбор |
| Находки | список того, что произошло | разложены по серьёзности и приоритету |
| Результат | протокол | обоснованные решения и связь правок с находками |
| Что мешает получить пользу | оценки без наблюдений за действиями | находки, по которым не принято никаких решений |
2Что проверяем и что считаем провалом
Запишите вопрос и критерии до теста, чтобы потом оценивать результат по тем же условиям.
Сначала определите, какое решение проверяете: например, найдёт ли человек отмену заказа в меню «⋯». Затем запишите, какой результат потребует пересмотра решения. Так задания и разбор будут отвечать на один вопрос.
Без заранее согласованных условий один и тот же результат легко трактовать по-разному. Критерий помогает обсудить находки, но не заменяет разбор причин. Если тест выявил ошибку в самом задании или прототипе, зафиксируйте это и объясните, как ограничение влияет на вывод.
Из чего состоит хороший критерий
- Действие, которое участник должен совершить, — наблюдаемое, не «понять» и не «осознать».
- Условие для решения: что станет поводом изменить интерфейс или провести ещё одну проверку. В примере используем порог для пяти участников; это рабочее правило этой серии, а не оценка всей аудитории.
- Условие самостоятельности: какие подсказки исключены и как отмечается помощь ведущего.
- Время или число попыток, если скорость важна для сценария.
| Проверяем решение | Успех | Провал |
|---|---|---|
| Отмена заказа спрятана в меню «⋯», чтобы не отвлекать от повторного заказа | 4 из 5 находят отмену сами не дольше чем за минуту | Двое и больше не находят за минуту или уходят в поддержку |
| Сумма доставки показывается только на последнем шаге | Все 5 перед оплатой верно называют итоговую сумму без подсказки | Хотя бы один из 5 неверно называет итоговую сумму или не может её найти |
| Фильтры свёрнуты в одну кнопку, чтобы каталог был чище | Не менее 3 из 5 самостоятельно применяют подходящий фильтр | Менее 3 из 5 самостоятельно применяют подходящий фильтр |
4 из 5 находят отмену заказа сами, без подсказок, за 30 секунд.
Рабочий критерийЕсть действие, число участников, самостоятельность и время. До теста ещё нужно обосновать порог и выбрать подходящую аудиторию.
Участникам должно быть понятно, как отменить заказ.
Нужно уточнить«Понятно» — оценка, а не наблюдаемое действие. И нет порога: понятно скольким из скольких?
Все 5 участников перед оплатой верно называют итоговую сумму без подсказки.
Рабочий критерийРезультат можно проверить: названная сумма должна совпасть с итогом заказа. Указаны размер серии и отсутствие подсказки.
Новый экран должен работать лучше старого.
Нужно уточнитьНет ни действия, ни порога, ни способа измерить «лучше». Под такой критерий подойдёт любой результат.
3 из 5 применяют хотя бы один подходящий фильтр без подсказок ведущего.
Рабочий критерийКритерий подходит для проверки самостоятельного использования фильтра. Вопрос участника сам по себе не означает помощь — важно, подсказал ли ведущий.
Участники находят кнопку быстро.
Нужно уточнитьНужно уточнить, сколько участников и какое время имеется в виду. Иначе результат можно оценить по-разному.
Двое или больше из 5 без подсказок выбирают доставку не на заданный адрес и не замечают ошибки.
Рабочий критерийОписана наблюдаемая ошибка и условие пересмотра решения. При серьёзных последствиях даже один случай может потребовать внимания.
Тест покажет, насколько удобен новый фильтр.
Нужно уточнитьЭто цель исследования. Её нужно дополнить тем, какие действия и результаты будут оцениваться.
3Задания без подсказок
На прошлой ступени вы отличали задание от инструкции. Здесь проверите собственные формулировки.
Названия кнопок и разделов могут незаметно подсказать путь. Например, просьба «добавить в избранное» уже называет способ сохранить товар. Если нужно проверить самостоятельный выбор способа, опишите ситуацию и цель. При этом не стоит убирать любое слово, которое встречается в интерфейсе: задание должно оставаться естественным и понятным.
Где искать возможные подсказки
- Надписи элементов: названия разделов, кнопок, вкладок, полей. Самый частый случай.
- Язык команды: «карточка товара», «дашборд», «онбординг». Проверьте, знакомы ли эти слова участникам и нужны ли они для задания.
- Названия инструментов: «фильтр», «сортировка», «избранное». Если проверяете, какой способ выберет человек, лучше описать нужный результат.
В этом примере проверяем самостоятельный поиск возврата. Отметьте названия разделов, элементов и действия, которые подсказывают маршрут, затем нажмите «Проверить».
Зайдите в личный кабинет, откройте историю заказов, найдите заказ номер 1042 и оформите возврат через форму внизу карточки товара.
«историю заказов» — название следующего экрана: ещё один шаг маршрута уже дан.
«оформите возврат» — в этом примере совпадает с кнопкой. Если проверяем самостоятельный поиск, лучше описать желаемый результат.
«форму» и «карточки товара» — названия элементов, которые вместе с указанием «внизу» выдают путь. Знакомы ли эти слова аудитории, нужно проверять отдельно.
Чем заменять
| Слово из интерфейса | Чем заменить в задании |
|---|---|
| «Добавьте в избранное» | «Вы вернётесь к выбору вечером — сделайте так, чтобы не потерять эти варианты» |
| «Зайдите в личный кабинет» | «Проверьте, что вы заказывали в прошлый раз» |
| «Примените фильтр» | «Вам нужна красная куртка не дороже 8 000 — найдите подходящую» |
| «Оформите возврат» | «Куртка не подошла по размеру. Сделайте так, чтобы вам вернули деньги» |
| «Введите промокод» | «У вас есть код на скидку FRIEND10. Купите куртку со скидкой» |
| «Откройте карточку товара» | «Посмотрите, из чего эта куртка сшита» |
4Модерируемый тест или запись без модератора
Выбор зависит от задачи, участников, готовности прототипа и возможности уточнять по ходу.
Модерируемый тест: вы присутствуете лично или по связи, даёте задания и при необходимости задаёте вопросы. Немодерируемый: участник выполняет задания самостоятельно. В зависимости от инструмента вы получаете запись, ответы, события или время выполнения. Оба формата могут помогать находить проблемы; для количественных выводов отдельно планируют выборку и измерения.
| Модерируемый | Немодерируемый | |
|---|---|---|
| Что даёт | наблюдения и возможность сразу уточнить ожидания | действия и ответы без присутствия ведущего |
| Число участников | зависит от цели и состава аудитории | тоже зависит от цели, а не только от формата |
| Срок | зависит от поиска участников и расписания | может быть короче при доступной панели участников |
| Можно уточнить | да, сразу | нет, только то, что человек сказал сам |
| Риск | присутствие и реплики ведущего могут влиять на действия | непонятые задания, брошенные сессии, нет контекста |
| Сырой прототип | ограничения можно пояснить, но нужный сценарий должен работать | сбои и непонятные ограничения сложнее отличить от проблем интерфейса |
| Сложный сценарий | годится | нужны особенно ясные задания и проверка длительности |
На какой вопрос хотите ответить?
Разобраться в действиях и ожиданиях участниковПричины, модель мышления, ожиданияСобрать прохождения коротких заданий без ведущегоРезультаты, затруднения и ответы участниковВ каком состоянии то, что тестируем?
Черновой прототип, работает не всёНужно будет объяснять ограниченияРабочий продукт или полный кликабельный прототипСначала проверим задания на пробной сессииСколько времени есть на исследование?
Полторы недели естьУспеем найти людей и поговоритьНужен результат за пару днейМожет подойти сервис с доступной панелью; сроки нужно проверитьНасколько длинный сценарий?
Длинный или с ветками и условиямиНужно подстраиваться по ходуКороткие самостоятельные задания по 2–3 минутыЗадания легче проверить на понятность без ведущего
5Сводка пяти тестов
Соберите результаты в одну таблицу, чтобы видеть повторения и различия между участниками.
Заполняйте сводку по мере проведения тестов, а после последнего проверьте её целиком. Строки — задания, столбцы — участники. В ячейках — результат и время; помощь ведущего и ограничения отмечайте отдельно. Ниже — учебные данные пяти сессий.
| Задание | П1 | П2 | П3 | П4 | П5 | Итог |
|---|---|---|---|---|---|---|
| 1. Повторить прошлый заказ | ✓ 0:12 | ✓ 0:09 | ✓ 0:15 | ✓ 0:11 | ✓ 0:20 | 5 из 5 выполнили в этой серии |
| 2. Отменить заказ | ✕ 1:50 | ✕ 2:40 | ✓ 1:05 | ✕ 3:00 | ✓ 0:48 | 2 из 5 выполнили; 4 не уложились в минуту |
| 3. Узнать дату доставки | ✓ 0:35 | ✓ 0:50 | ✓ 0:22 | ~ 1:10 | ✓ 0:41 | 5 из 5, но у одного с возвратами |
Обозначения: ✓ выполнил самостоятельно · ~ выполнил самостоятельно с затруднениями · ✕ не выполнил. Другой путь сам по себе не считается затруднением. Время — от выдачи задания до результата или отказа. Выполнение с помощью отмечайте отдельно.
Что ещё выписать рядом
- Первый клик по каждому заданию. Если несколько участников начинают в одном месте, проверьте, что они там ожидали найти.
- Самые точные цитаты — по одной-две на находку, с номером участника и тайм-кодом.
- Обходные пути: кто ушёл в поддержку, кто полез в поиск, кто открыл сайт вместо приложения.
- Что не подтвердилось в этой серии. Например, предполагаемая трудность не встретилась. Зафиксируйте условия и границы этого наблюдения.
6Серьёзность находок
Оценка серьёзности помогает обсудить, какие проблемы требуют внимания прежде всего.
Начните с последствий для человека и повторяемости в тестах. Затем учтите, можно ли обойти проблему и будет ли она возникать снова. Матрица ниже — упрощённая учебная модель. Её оценку нужно проверять по контексту, а частоту среди пяти участников нельзя переносить на всю аудиторию.
- Критично
- Срочно обсудите последствия и способ снизить риск. Объём переделки зависит от причины, а не от числа находок. Это начальная оценка учебной матрицы.
- Высокая
- Согласуйте приоритет, ответственного и срок. Проверьте, насколько оценка матрицы соответствует последствиям в вашем продукте.
- Низкая
- Сохраните находку с объяснением последствий. Решение о сроке зависит от контекста и стоимости исправления.
- Мелочь
- Уточните замечание и проверьте, не скрывается ли за ним трудность. Отсутствие ошибки в одном задании не доказывает, что замечание несущественно.
- Блокирует сценарий — Трое из пяти не нашли отмену заказа и сдались — ровно случай из сводки выше.
- Сделал не то и не заметил — Участник оформил доставку не туда и сказал «готово». В жизни он узнает об этом после доставки.
- Сильно замедляет — Участник блуждал 40 секунд, возвращался назад трижды, но дошёл.
- Раздражает — Лишний шаг, который человек проходит с досадой, но без затруднений.
- Косметика и мнение — «Статус какой-то мелкий» при выполненном без затруднений задании.
Как обсудить следующий шаг
- Критичные — быстро обсудить риск и способ его снизить. Иногда нужна срочная правка, иногда — дополнительная проверка или временное ограничение сценария.
- Высокие — согласовать приоритет, ответственного и срок. Оценить сложность решения и зависимости.
- Низкие — сохранить в бэклоге с объяснением последствий и условиями пересмотра.
- Небольшие замечания — уточнить и записать. Не каждое требует правки, но жалоба на цвет или размер может указывать на проблему читаемости.
А. 1 из 5 оплатил не той картой и не заметил.
Б. 4 из 5 жалуются, что список грузится медленно, но все дошли до конца.Находка АВ этом примере сначала стоит разобраться с незамеченным выбором карты: последствия могут быть существенными. Затем проверить причины задержки списка и её влияние на пользователей.
А. 3 из 5 не нашли, как удалить адрес доставки, и бросили.
Б. 5 из 5 предпочли бы более крупные иконки, но уверенно распознавали их и нажимали без ошибок.Находка АВ А три участника не достигли цели. В Б описано предпочтение без наблюдаемой трудности. По этим данным сначала разбираем А; если размер мешает видеть или нажимать, оценка Б изменится.
А. 2 из 5 блуждали по экрану 40 секунд, но справились.
Б. 2 из 5 не выполнили задание совсем.Находка БОдинаковая частота, разное влияние: «не выполнил» тяжелее «сделал медленно». Сначала смотрим на влияние, потом на число.
А. 1 из 5 не смог отменить подписку.
Б. 3 из 5 не сразу нашли, где посмотреть историю платежей, но нашли.Находка АЕсли человек не может отменить подписку, возможны нежелательные списания. Это основание быстро разобрать случай, даже если он встретился один раз.
А. 5 из 5 не заметили промо-баннер на главной.
Б. 2 из 5 отправили форму с ошибкой в телефоне и не увидели предупреждения.Находка БВ Б ошибка может помешать получить звонок. В А не описано последствий для задачи пользователя, поэтому по этим данным Б требует внимания раньше.
А. 2 из 5 дважды нажали «Оплатить», испугавшись, что не сработало.
Б. 4 из 5 назвали цветовую схему скучной.Находка АПовторное нажатие показывает неясность статуса оплаты. Проверьте, защищена ли система от повторного списания; по описанию нельзя утверждать, что оно произошло.
7«До и после»: доводим находку до экрана
Покажите, что изменилось и какие наблюдения помогли выбрать правку.
Человек, который не был на тестах, должен понять, что изменилось и почему. Свяжите каждую правку с находкой или другим явным основанием. Для находок, которые пока не требуют изменений, запишите решение и его причину.
Кроссовки Lorex, 42
Кроссовки Lorex, 42
Отмена возможна, пока заказ не передан курьеру
- 1Отмена находится в «⋯». Трое из пяти не нашли её и прекратили задание.
- 2Двое нажали «Повторить заказ», пока искали отмену.
- 3Поддержка выглядит как выход из тупика: трое ушли туда, не найдя отмену.
- 1Отмена — текстовой кнопкой внутри карточки заказа, там, где люди её искали.
- 2Подпись объясняет, до какого момента отмена доступна: помогает понять, доступна ли отмена.
- 3Поддержка остаётся доступна рядом с прямым действием отмены.
Связь находок и правок
В таблице свяжите наблюдение, его серьёзность и принятое решение. Она поможет обсудить изменения с командой и сохранить основания для будущих правок.
| Находка | Серьёзность | Правка |
|---|---|---|
| Отмену не находят в «⋯» 3 из 5 не выполнили задание. П2: «Может, тут нельзя отменить вообще?» (01:58) |
Критично | Отмена вынесена текстовой кнопкой в карточку заказа, под составом. Меню «⋯» убрано за ненадобностью |
| Неясно, можно ли отменить в принципе 2 из 5 сформулировали вслух гипотезу «наверное, нельзя» и перестали искать |
Высокая | Под кнопкой добавлена строка про условие отмены — до передачи курьеру |
| Поддержка как обходной путь 3 из 5 ушли в чат, не решив задачу сами |
Высокая | Кнопка поддержки переименована; рядом появился прямой способ отменить заказ |
| Дату доставки ищут по всей карточке 1 из 5, с возвратами, 1:10 |
Низкая | Не меняем. В бэклог: проверить на следующей серии, повторится ли |
| «Статус какой-то мелкий» 1 из 5, мнение, задание выполнено без затруднений |
Мелочь | Пока не меняем. Уточним, что мешало читать статус; в этом тесте затруднений при выполнении не заметили |
Проверьте правку повторным тестом
- Спланируйте новую серию под вопрос проверки. Для этого учебного примера возьмите пять новых участников: исходный критерий задан для пяти. В других задачах число может отличаться.
- Сохраните сопоставимые условия. По возможности используйте то же задание, устройство и данные. Если формулировку пришлось исправить, отметьте, как это ограничивает сравнение.
- Проверьте исходный критерий. Если цели исследования изменились, запишите новый критерий отдельно и объясните причину. Не представляйте его как исходный.
- Пригласите новых людей с подходящим опытом. Для проверки первого знакомства важно, чтобы участник не помнил маршрут из предыдущего теста.
- Правка может не решить проблему. Разберитесь, что осталось непонятным и не появились ли новые затруднения.
- Не каждой правке нужна новая серия. Стив Круг в «Rocket Surgery Made Easy» считает повторный тест нужным, только если экран пришлось сильно изменить. После мелкой правки он советует посмотреть на обновлённый экран и спросить себя, осталась ли проблема.
8Задание
Свой экран, три задания, пять тестов, разбор по серьёзности и переделанный экран.
По шагам
- Выберите экран и решение (около 40 мин), в котором есть существенная неопределённость. Объясните, какое продуктовое решение помогут принять результаты.
- Сформулируйте критерий (около 20 мин): наблюдаемый результат, условия самостоятельности и повод пересмотреть решение. Запишите его до тестов.
- Напишите три задания (около 1 ч). Проверьте, понятна ли цель и не подсказан ли маршрут.
- Выберите формат (15 мин) и запишите обоснование по формуле из раздела 4, включая то, чего формат не покажет.
- Проверьте прототип и проведите прогон на себе.
- Пять тестов с протоколами по каждому.
- Сведите таблицу (30 мин) и сверьте строку с критерием: выполнено ли условие для пересмотра решения.
- Разложите по серьёзности (40 мин) по матрице из раздела 6.
- Примите решения по трём наиболее значимым находкам. Внесите обоснованные правки, покажите их связь с наблюдениями и запланируйте повторную проверку. Если менять нечего, объясните почему.
Ориентир: 14–18 часов за полторы недели, из них сами тесты — около пяти.
Что сдаём
- Бриф на полстраницы: проверяемое решение, критерий успеха и провала, выбор формата с обоснованием.
- Три задания в финальных формулировках.
- Сводная таблица пяти тестов: задания × участники, результат и время.
- Находки с серьёзностью — каждая с числом «сколько из пяти», описанием действия и ссылкой на запись; цитата — если помогает понять случай.
- Пара скриншотов «до и после» с нумерованными пометками.
- Таблица связи находок и решений: строка на каждую правку с указанием находки — и строки «не меняем и почему».
9Чек-лист и ошибки ступени
До тестов
- Названо конкретное решение, которое проверяем, — не «экран вообще»
- Критерий провала записан с порогом и условием «сам», до первого теста
- Задания понятны участникам и не подсказывают проверяемый путь
- Задания прочитаны человеку не из команды и пересказаны им своими словами
- Формат выбран, обоснован, и названо, чего он не покажет
- Прототип проверен, прогон на себе сделан
После тестов
- Сводная таблица заполнена, строка сверена с критерием
- У находок есть наблюдения, число участников и ссылка на соответствующий момент записи
- Серьёзность обоснована последствиями и контекстом; матрица использована как ориентир
- Цена ошибки и возможность её исправить учтены в оценке
- По трём наиболее значимым находкам приняты и объяснены решения
- Есть связь находок и решений, включая строки «не меняем и почему»
- Скриншоты «до и после» с нумерованными пометками
Ошибки, характерные для этой ступени
- Критерий изменён без объяснения. Порог назначен после теста и представлен как исходный. Это затрудняет проверку вывода.
- Неясно, на какой вопрос отвечает тест. Общую задачу «проверить удобство» нужно уточнить до сценариев и наблюдаемых результатов.
- Задание подсказывает маршрут. Автору привычны названия разделов, и он может не заметить, что назвал участнику нужный инструмент.
- Не указано, у кого встретилась проблема. «Трое из пяти» точнее, чем «участники». Но одной частоты недостаточно для оценки серьёзности.
- Серьёзность определена только по эмоциям. Сильная реакция заслуживает внимания; причину и последствия всё равно нужно разобрать.
- Каждое замечание сразу превращается в правку. Сначала выясните, что стоит за ним и как это влияет на задачу.
- Правки без находок. Заодно поправили ещё десять мест, потому что руки дошли, — и теперь непонятно, что дал тест.
- Немодерируемый тест запущен без проверки прототипа. Сбои мешают выполнению заданий, а уточнить причину остановки сразу не получится.
- Повторный тест не учитывает знакомство с прошлой версией. Если проверяете первое знакомство, пригласите новых участников с подходящим опытом.
- После отчёта не определён следующий шаг. У значимых находок нет решения, ответственного или плана проверки.
10Где проходит граница ступеней
| Уровень | Зона ответственности | Признак, что уровень взят |
|---|---|---|
| Junior | Провести тест по готовому сценарию, не подсказывая; отличать задание от инструкции; вести протокол с действиями, репликами и остановками; отличать «не смог» от «неудобно» | В протоколе видно место остановки и что участник пытался сделать |
| Middle — этот урок | Сформулировать проверяемое решение и критерий провала; написать понятные задания без подсказок; выбрать формат и обосновать; разложить находки по серьёзности; принять решения по значимым находкам и проверить правки | Есть «до и после» и строка про каждую правку — какую находку она закрывает |
| Senior | Встроить тестирование в ритм команды как регулярную практику; выбирать метод под задачу и бюджет; разбирать чужие сценарии и протоколы; учить команду модерировать; связывать находки с метриками; обсуждать результаты и ограничения с командой | Тесты идут без вашего постоянного участия, а их результаты доходят до продукта |
Что почитать дальше
- Rocket Surgery Made EasyГлавы 10–13: разбор сразу после тестов, выбор немногих самых серьёзных проблем и правило «отлаживайте, а не переделывайте». Повторный тест Круг считает нужным только после крупной правки.
- Measuring the User ExperienceКак перевести тест в числа: успешность и время выполнения заданий (глава 4), опросники после теста (глава 5), учёт найденных проблем и их серьёзности (глава 6). Учебник 2022 года с формулами и примерами в Excel; в открытом доступе только оглавление и описание.
- Severity Ratings for Usability ProblemsИз чего складывается серьёзность проблемы — частота, влияние, повторяемость — и шкала от 0 до 4. Заметка 1994 года для эвристической оценки; одной оценке автор не доверяет и советует брать среднее от трёх оценщиков.
- Why 5 Participants Are Okay in a Qualitative Study, but Not in a Quantitative OneПочему пять участников годятся для поиска проблем и не годятся для цифр и на каких допущениях держится правило пяти. Статья 2021 года; приоритет проблем здесь ставят суждением, а не счётом «сколько из пяти».