Чему научитесь
- Отличать задание от инструкциитренажёр
- Готовить прототип и технику, чтобы не тратить встречу на починку ссылокчек-лист
- Давать участнику время на поиск, и засекать, сколько он ищетсимулятор
- Вести протокол: действия, реплики, остановкитренажёр
- Отличать «не смог» от «неудобно»тренажёр
1Что это за метод и чем он отличается от интервью
На интервью вы разбираете прошлый опыт человека, на тесте — наблюдаете, как он пользуется интерфейсом.
На интервью человек рассказывает о своём опыте, а вы уточняете детали. На юзабилити-тесте он выполняет задания, а вы наблюдаете за действиями и слушаете пояснения. Реплики помогают понять ожидания участника, но сами по себе не показывают, удалось ли ему решить задачу.
| Проблемное интервью | Юзабилити-тест | |
|---|---|---|
| Вопрос | как человек решает задачу сейчас | справляется ли он с этим интерфейсом |
| Когда | когда нужно разобраться в опыте и трудностях человека | когда есть прототип или готовый продукт |
| Данные | его истории о прошлом | его действия прямо сейчас |
| Роль ведущего | спрашивать о конкретных случаях и уточнять детали | дать задание, наблюдать и уточнять без подсказок |
| Как вести разговор | давать человеку рассказать, помогать вопросами | оставлять время на самостоятельные действия |
| Главная ошибка | подсказать ответ вопросом | подсказать решение действием или репликой |
Что записывать
- Результат задания. Достиг ли участник цели самостоятельно, с помощью или не достиг. Другой путь может быть вполне успешным.
- Где возникло затруднение. Экран, элемент и время на записи, чтобы потом вернуться к этому моменту.
- Сколько заняло задание. Отмечайте время и паузы. Учитывайте, что разговор с ведущим и размышления вслух тоже занимают время.
- Что говорил в этот момент. Дословно: «а где тут…», «ну наверное сюда», «странно».
- Чего ожидал. Куда пошёл сначала и как объяснил свой выбор.
2Задание против инструкции
Формулировка должна объяснять цель, оставляя участнику выбор пути.
Задание описывает цель и обстоятельства: что человеку нужно получить. Инструкция объясняет путь: куда нажать. Если назвать нужную кнопку, уже не получится проверить, найдёт ли её участник сам.
| Инструкция с подсказкой | Задание без подсказки | На что влияет формулировка |
|---|---|---|
| «Нажмите на корзину справа вверху и оформите заказ» | «Вы выбрали эти кроссовки. Купите их» | Участник уже знает, где корзина. Самостоятельный поиск не проверить |
| «Воспользуйтесь фильтром и найдите красную куртку» | «Вам нужна красная куртка не дороже 8 000. Найдите подходящую» | Участнику назвали инструмент, который он мог бы выбрать сам |
| «Добавьте товар в избранное» | «Вам понравились два варианта, но решение вы примете вечером. Сделайте так, чтобы не потерять их» | Если проверяем, как человек сохраняет варианты, название раздела может подсказать ему путь |
Как писать задание
- Начните с ситуации. «Вы заказали куртку, она не подошла» — затем объясните цель.
- Цель в терминах результата: «верните деньги», а не «оформите возврат через личный кабинет».
- Не подсказывайте путь названиями кнопок и разделов. Используйте знакомые участнику слова. Если слово совпадает с подписью в интерфейсе, проверьте, не выдаёт ли оно решение.
- Дайте нужные данные: сумму, город, размер. Тогда участнику не придётся отвлекаться на их придумывание.
- У задания должна быть понятная цель. Покупка может включать поиск и оплату. А просьбу оценить уже купленный товар лучше вынести отдельно, если это другой сценарий.
- Заранее определите, что считать успехом. Например, заказ оформлен на нужный адрес. Попросите участника сказать, когда он считает задание законченным, и сверьте результат с этим условием.
- Выдавайте задания по одному. Так следующие задания не будут подсказывать, что искать в текущем.
Вы выбрали эти кроссовки. Купите их.
Задание — годитсяЦель без пути. Участник сам решит, куда идти, — и это ровно то, что нужно увидеть на тесте.
Нажмите на корзину в правом верхнем углу и оформите заказ.
Инструкция или подсказкаПуть уже указан. По такому заданию нельзя понять, нашёл бы участник корзину самостоятельно.
Вам нужна красная куртка не дороже 8 000 рублей. Найдите подходящую.
Задание — годитсяЕсть ситуация, цель и нужные данные. Путь к результату участник выбирает сам.
Воспользуйтесь фильтром, чтобы найти красную куртку.
Инструкция или подсказкаЕсли проверяем выбор способа поиска, слово «фильтр» заранее подсказывает инструмент.
Добавьте два товара в избранное.
Инструкция или подсказкаЗдесь проверяем, как участник сохраняет варианты. Название раздела подсказывает способ. Лучше: «Вы вернётесь к выбору вечером — сделайте так, чтобы не потерять варианты».
Вы купили куртку, но она не подошла по размеру. Сделайте так, чтобы вам вернули деньги.
Задание — годитсяОписаны ситуация и нужный результат. Способ возврата участник ищет сам.
Оцените, насколько удобна эта страница.
Инструкция или подсказкаЭто просьба дать оценку, а не выполнить действие. Она может дополнить тест, но не покажет, справится ли человек с задачей.
Проверьте, когда приедет заказ номер 1042 и по какому адресу.
Задание — годитсяКонкретная цель с конкретными данными. Есть понятный признак завершения — участник назовёт дату и адрес.
Зайдите в личный кабинет и посмотрите историю заказов.
Инструкция или подсказкаНазвания разделов уже задают маршрут. Если проверяем самостоятельный поиск заказа, такую подсказку нужно убрать.
Вы хотите оплатить не картой, а как-то иначе. Разберитесь, есть ли такая возможность.
Задание — годитсяУчастник должен выяснить, какие способы оплаты доступны. Обоснованный ответ «такой возможности нет» тоже может означать успешное выполнение.
3Подготовка: прототип, техника, комната
Проверьте всё заранее, чтобы во время встречи заниматься тестом.
Неработающая ссылка может прервать задание. Пройдите прототип заранее: проверьте основные и альтернативные пути. Если сбой всё же случится, отметьте его в протоколе и отделите от затруднений участника.
4Готовый сценарий теста
Возьмите за основу и адаптируйте к своему исследованию.
Подставьте [продукт], [задание 1–3] и [ситуацию]. Во вступлении укажите реальные условия записи: кто получит доступ и когда запись удалят. Проверьте задания и длительность на пробной сессии. Покупки и другие действия с реальными последствиями проводи в тестовой среде или останавливайте до подтверждения.
Здесь на три задания отведено около 35 минут. Это пример плана: количество заданий зависит от их сложности. Оставьте время на вопросы и перерыв, а длительность уточните на пробной сессии.
Блок 0 · Знакомство и правила 3–5 мин
Цель: снять с участника страх ошибки и объяснить, что от него нужно.
Спасибо, что пришлите. Мы проверяем [продукт] и хотим понять, как им пользуются. Это проверка интерфейса, а не ваших способностей. Если что-то непонятно или не получается, скажите: нам важно заметить такие места.
Я дам вам несколько заданий. По возможности рассказывайте, о чём думаете: что ищете, куда собираетесь нажать и что ожидаете увидеть. Это поможет мне понять ваши действия.
Во время заданий я буду в основном наблюдать. Мне важно увидеть, как вы действуете самостоятельно, поэтому я не всегда смогу сразу подсказать. Если устанете или захотите закончить, скажите — можно сделать перерыв или остановиться.
Можно записать экран и звук? Запись поможет нам вернуться к деталям теста. Доступ будет у [кто увидит запись], удалим её [когда]. Вы можете попросить остановить запись в любой момент.
Блок 1 · Разогрев 4–5 мин
Цель: познакомиться с опытом участника и предложить ему попробовать рассуждать вслух.
- Расскажите коротко, чем занимаетесь и как часто [ситуация].
- Когда вы в последний раз [делали то, что тестируем]? Чем пользовались?Поможет понять, какой опыт есть у участника.
- Сейчас откроем экран. Посмотрите на него и скажите вслух: что это, по-вашему, за место и что здесь можно сделать?Такой разогрев помогает попробовать думать вслух. Если проверяете первое знакомство с интерфейсом, учтите: предварительный осмотр повлияет на следующие задания.
Блок 2 · Задания 30–35 мин · ядро
Цель: увидеть, как человек выполняет задания. Выдавайте их по одному, отмечайте время начала и завершения.
- [Задание 1] — самое частое действие. Например: «Вы выбрали [товар]. Купите его. Скажите, когда закончите».Отметьте первый клик, время выполнения и паузы. Для этой практики отдельно записывайте паузы дольше 10 секунд.
- [Задание 2] — более сложное действие, которое важно проверить. Например: «Вы ошиблись с размером. Сделайте так, чтобы приехал другой».
- [Задание 3] — редкое или незаметное действие. Например: «Проверьте, когда приедет заказ и куда именно».
Формулировка выдачи: «Следующее задание. [Ситуация]. Ваша цель — [результат]. Скажите вслух, когда решите, что готово».
Блок 3 · Вопросы после заданий 8–10 мин
Цель: вернуться к трудным местам и уточнить ожидания участника. Подробный разбор оставьте на конец, чтобы не подсказывать решение следующих заданий.
- Вернёмся к моменту, когда вы искали [место, где он застрял]. Что вы тогда искали?Вернитесь к конкретному моменту на записи.
- Что вы ожидали увидеть, когда нажали на [элемент]?
- Было ли что-то, что сработало не так, как вы думали?
- Если бы вы делали это дома и никто не смотрел — где бы вы бросили?Это предположение участника о своём поведении. Запишите его отдельно от того, что наблюдал на тесте.
- Мы о чём-то не поговорили, а стоило бы?
Блок 4 · Завершение 2–3 мин
- Поблагодарить, сказать, что именно было полезно.
- Спросить, можно ли написать, если возникнут уточнения.
- Остановить запись, сразу сохранить и подписать файл.
Спасибо за участие. Ваши действия и пояснения помогут нам разобраться, что стоит улучшить.
5Как наблюдать и не торопиться с подсказкой
Как дать человеку время на поиск и заметить момент, когда пора вмешаться.
Когда участник затрудняется, хочется помочь. Но подсказка меняет условия: вы уже не увидите, как человек продолжил бы сам. Дайте ему время и записывайте происходящее. Если нужно помочь, отметьте в протоколе, что именно подсказал и когда.
Пауза не всегда означает, что человек застрял. Он может читать, сравнивать или обдумывать следующий шаг. Наблюдайте за действиями и при необходимости спросите: «О чём вы сейчас думаете?» Если участник устал, расстроен или хочет прекратить задание, остановитесь.
Учебная ситуация. Участник пытается отменить заказ. Он смотрит на экран и водит курсором по странице. Запустите симулятор и понаблюдайте за ходом поиска. Кнопка подсказки прервёт сценарий и покажет, какие события остались за его пределами.
Что делать вместо подсказки
| Ситуация | Нельзя | Можно |
|---|---|---|
| Молчит и не двигается | «Попробуйте посмотреть в меню» | Дать время. Если нужна ясность: «О чём вы сейчас думаете?» |
| Спрашивает, куда нажать | Показать | «А как вам кажется?» / «А где бы вы стали искать?» |
| Пошёл явно не туда | «Нет, не сюда» | Наблюдать и записывать выбранный путь |
| Спрашивает, правильно ли делает | «Да, всё верно» | «Мне важно увидеть, как вы решаете задачу. Продолжайте так, как считаете нужным» |
| Перестал говорить вслух | Молчать вместе с ним | Нейтрально напомнить: «Расскажите, о чём сейчас думаете» |
| Сдаётся, задание не выполнено | Дорешать за него | «Хорошо, останавливаемся. Что вы искали в последний момент?» и переходить дальше |
| Совсем застрял, а впереди ещё задания | Подсказывать шаг за шагом | Дать минимальную подсказку и пометить в протоколе, что дальше шёл с помощью |
Шпаргалка: что отвечать на вопросы участника
Нажмите на карточку, чтобы увидеть пример ответа. Перед первым тестом попробуйте произнести эти фразы вслух и выберите удобные для себя формулировки.
«А куда тут нажать?»
«Я правильно делаю?»
«Это я такой тупой или тут правда непонятно?»
«А что должно было произойти?»
«Наверное, я не то нажал»
Долго молчит
6Протокол: что именно записывать
Протокол помогает вернуться к деталям и отделить наблюдения от предположений.
В протоколе три вида записей. Действие — что участник сделал. Реплика — его слова, дословно и в кавычках. Остановка — пауза с указанием времени и того, что происходило на экране. Отдельно записывайте свои мысли: догадки, вопросы и идеи. Тогда при разборе будет понятно, что вы наблюдали, а что предположил.
Открыл карточку заказа, проскроллил вниз до конца, вернулся вверх.
ДействиеЧистое действие: видно, что сделал, и это можно проверить по записи.
«Так, а где это… отменить-то»
РепликаЭто дословная реплика. Она помогает понять, что искал участник.
24 секунды водит курсором по шапке карточки, ничего не нажимает.
ОстановкаЕсть описание паузы и её длительность. В этой практике отдельно отмечаем паузы дольше 10 секунд; сама пауза ещё не доказывает затруднение.
Похоже, он не замечает меню в правом верхнем углу.
Моя мысльЭто предположение о том, что замечает участник. Запишите его в колонку своих мыслей.
Участнику было неудобно пользоваться фильтром.
Моя мысльУчастнику приписана оценка. В наблюдениях запишите, что он делал с фильтром. Если он сам сказал «неудобно», сохраните это как реплику.
Нажал «Поддержка» в нижнем меню, открылся чат, вернулся назад.
ДействиеОписана последовательность действий. Обращение в поддержку тоже может быть способом решить задачу — это зависит от условий теста.
«Может, тут нельзя отменить вообще?»
РепликаЭто реплика с предположением участника. Что он сделал после неё, нужно записать отдельно.
Я бы на его месте тоже полез в профиль.
Моя мысльЭто ваша оценка маршрута. Она может подсказать вопрос для разбора, но не заменяет наблюдение.
Пауза 15 секунд, смотрит на экран, курсор не двигается.
ОстановкаОписана пауза в видимых действиях. Человек при этом может читать или обдумывать решение.
«Ну наверное надо сюда».
РепликаЭто слова участника. Если затем он нажал кнопку, запишите нажатие отдельно как действие.
Как выглядит заполненный протокол
Ниже — учебный пример протокола по заданию «отмените заказ». У каждой строки есть время, реплики записаны дословно, а предположения вынесены вправо.
Правила ведения
- Ставьте время у записей. По нему будет проще найти нужный момент и восстановить последовательность действий.
- Отмечайте паузы и их длительность. В этом упражнении записывайте отдельно паузы дольше 10 секунд. Это условие практики, а не граница между нормальным поиском и проблемой.
- Кавычки — для точных слов. Если не успел записать дословно, пометьте пересказ и уточните по записи.
- Записывайте первый клик. Он показывает, откуда участник начал поиск. Его ожидания при необходимости уточните вопросом.
- Фиксируйте результат и время: выполнено самостоятельно / выполнено с помощью / не выполнено. Отдельно опишите трудности и путь. Если цель достигнута другим способом, это тоже может быть успехом.
- При уточнении сохраняйте исходные наблюдения. Можно разобрать сокращения и дополнить пропуски по записи. Не заменяйте точные реплики своими выводами.
- Пять минут сразу после теста — дописать правую колонку, пока помните интонации.
7Результат задания и впечатления участника
Отделяйте результат задания от впечатлений участника и своих выводов.
«Не смог» описывает результат, а «неудобно» — оценку. Оба вида данных полезны, если понятно, откуда они взялись. Уточните, что именно было неудобно, и сопоставьте слова с действиями. Не приписывайте человеку оценку, которой он не давал.
| Категория | Как выглядит в протоколе | Что с этим делать |
|---|---|---|
| не смог | Задание не выполнено или выполнено неверно, а участник этого не заметил | Разобраться в причине и последствиях. Серьёзная проблема может требовать исправления даже после одного случая |
| с трудом | Выполнено, но с остановками, возвратами, попытками не туда; заметно дольше ожидаемого | Записать место, действия и время. Проверить, повторяется ли затруднение и что к нему приводит |
| заминка | Секундная запинка, дальше пошёл сам | Отметить, накапливать. Само по себе не повод менять интерфейс |
| мнение | «Мне не нравится», «я бы по-другому», «всё удобно» | Сохранить как оценку участника. Уточнить причины и сопоставить с наблюдениями |
Искал две минуты, сказал «наверное, тут нельзя» и бросил задание.
Не смогЗадание не выполнено. Запишите, где участник остановился, и разберитесь в причине и последствиях.
«Мне не нравится, что всё такое серое».
Это мнениеЭто оценка внешнего вида. Уточните, что за ней стоит, и запишите отдельно от результата задания.
Оформил заказ, но доставку выбрал не ту, которую хотел, и не заметил этого. Сказал «готово».
Не смогНужный результат не достигнут, хотя участник этого не заметил. Поэтому итог проверяют по условиям задания, а не только по слову «готово».
Вернулся на предыдущий экран три раза, потом нашёл нужное. Всего 50 секунд.
Смог, но с трудомЦель достигнута после нескольких возвратов. Запишите маршрут и выясните, что вызывало затруднения; повторения помогут уточнить вывод.
На секунду задержался перед кнопкой, потом уверенно нажал.
ЗаминкаМелкая запинка. Отмечаем, копим, но само по себе это не повод что-то менять.
«Нормальный сайт, всё понятно».
Это мнениеЭто общая оценка участника. Она не отменяет затруднений, если они были, и не объясняет, как выполнены задания.
Закрыл всплывающее окно, начал задание заново, со второго раза получилось.
Смог, но с трудомСправился после повторной попытки. Запишите, что произошло перед перезапуском.
Спросил «а куда тут?», ведущий промолчал, участник поискал ещё минуту и сдался.
Не смогУчастник прекратил задание, не достигнув цели. По этому описанию нельзя оценить всю работу ведущего. Если бы он помог, помощь нужно было бы отметить отдельно.
«Я бы на вашем месте сделал кнопку побольше».
Это мнениеЭто предложение участника. Сохраните его и уточните, какую трудность он хочет решить. Само предложение ещё не доказывает, что размер кнопки мешает выполнению задания.
Как считать повторяемость на трёх участниках
- Трое из трёх столкнулись с трудностью — она повторилась у всех участников этой серии. Это веский повод разобраться, но не доказательство того, что так будет у каждого пользователя.
- Двое из трёх — так и запишите. Укажите, что именно повторилось и были ли условия сопоставимы.
- Один из трёх — тоже важное наблюдение. Оцените последствия: для серьёзной ошибки не обязательно ждать повторения.
- Указывайте границы вывода: «двое из трёх участников теста». По трём людям нельзя оценить долю проблемы во всей аудитории.
8Задание
Три теста по сценарию из раздела 4 и протокол на каждого.
По шагам
- Выберите интерфейс (около 20 мин): свой прототип или доступный сервис с работающим сценарием. На реальном сервисе заранее определите, где остановить задание, чтобы не оформлять ненужный заказ или платёж.
- Составьте три задания (40 мин) по правилам из раздела 2. Прогоните каждое через тренажёр в голове: нет ли в нём названий кнопок, инструментов, путей.
- Проверьте прототип (30 мин) по чек-листу из раздела 3. Все 14 пунктов.
- Пригласите трёх человек. Для тренировки подойдут знакомые с опытом, близким к опыту аудитории. Коллеги, которые знают интерфейс изнутри, могут пропустить то, что затруднит нового пользователя.
- Проведите прогон на себе (20 мин): вслух, по таймеру, с секундомером. Так проще заметить неясные формулировки и проверить длительность.
- Проведите три теста (по 40–60 мин). После каждого — 5 минут на дописывание правой колонки.
- Сведите (1 ч): по каждому заданию — кто справился, за сколько, где встал.
Ориентир: 6–8 часов, из которых сами тесты — около трёх.
Что сдаём
- Три протокола по образцу из раздела 6: время у каждой строки, действия, дословные реплики, помеченные остановки с секундами, результат каждого задания.
- Сводная табличка: три задания × три участника, в каждой ячейке — результат и время.
- Список затруднений: где возникли, у кого повторились и чем закончились. Отдельно отметьте серьёзные случаи, даже если они встретились один раз.
9Чек-лист и типовые ошибки
Перед тестом
- Все 14 пунктов подготовки из раздела 3 отмечены
- Задания описывают цель и не подсказывают проверяемый путь
- Задания выдаются по одному
- Вступление про «тестируем не вас» отрепетировано вслух
- Шаблон протокола открыт и подписан, секундомер под рукой
Во время
- Даю время на поиск; уточняю без подсказок и замечаю, когда нужна пауза
- Засекаю время каждого задания от выдачи до результата
- Помечаю все остановки дольше 10 секунд
- Записываю первый клик в каждом задании
- Реплики — дословно, в кавычках
- Если подсказал — пометил это в протоколе
После
- Пять минут на дописывание правой колонки, пока свежо
- По каждому заданию проставлен результат и время
- Запись сохранена и подписана датой и номером участника
- Оценки участника отделены от наблюдений и моих предположений
Что проверить после первого теста
- В задании подсказан путь. «Нажмите на корзину» не позволяет проверить, найдёт ли человек корзину сам.
- Подсказка появляется раньше, чем понятна причина паузы. Участник мог ещё читать или обдумывать следующий шаг.
- Ведущий подсказывает жестом или курсором. Указание на нужную кнопку тоже меняет условия теста.
- Ведущий спорит или оправдывает интерфейс. После «там же написано» участнику может быть сложнее открыто говорить о трудностях.
- Вместо действий записаны только оценки. Ответ «удобно» не показывает, удалось ли выполнить задание.
- Записывает выводы вместо событий. «Ему было неудобно» вместо «24 секунды водил курсором по шапке».
- Не отмечено время. Из записи «долго искал» непонятна длительность поиска. При этом само время ещё не объясняет причину паузы.
- Считает успехом «сделал, но не то». Человек сказал «готово», ведущий записал «выполнено» и не проверил результат.
- Тестирует сломанный прототип и полсессии чинит ссылки.
- Заданий больше, чем позволяет время. Ведущий торопит участника и пропускает важные затруднения.
- Участники слишком хорошо знают интерфейс. Их опыт может отличаться от опыта людей, для которых создаётся продукт.
10Что остаётся на следующие ступени
| Уровень | Что добавляется |
|---|---|
| Junior — этот урок | Провести тест по готовому сценарию, не подсказывая; отличать задание от инструкции; вести протокол с действиями, репликами и остановками; отличать «не смог» от «неудобно»; готовить прототип |
| Middle | Составлять сценарий и задания под вопрос продукта; решать, что и на ком тестировать; модерировать гибко, углубляясь по ходу; сводить результаты нескольких участников в список проблем с приоритетом по серьёзности; доводить находки до правок и повторного теста; работать с удалёнными и немодерируемыми форматами |
| Senior | Встраивать тестирование в ритм команды как регулярную практику; выбирать метод под задачу и бюджет; разбирать чужие сценарии и протоколы; обучать команду модерировать; связывать находки с метриками; обсуждать результаты и их ограничения с командой |
Что почитать дальше
- Не заставляйте меня думатьГлава 9 — тест своими силами. Её версию из издания 2000 года автор выложил бесплатно: трое-четверо участников за раунд, набор тех, кого удалось найти, с поправкой на аудиторию, и почему фокус-группа тест не заменяет.
- Rocket Surgery Made EasyКак провести тест без исследователя в штате: три участника, вступление «проверяем сайт, а не вас», нейтральные фразы ведущего вместо подсказок. Сценарий теста, чек-листы и список таких фраз автор бесплатно выложил на своём сайте; книга 2010 года, примеры с сайтов.
- Talking with Participants During a Usability TestТри приёма ведущего — «эхо», «бумеранг» и «Коломбо»: как ответить на вопрос участника и не подсказать. Статья 2014 года; перед репликой советует досчитать про себя до десяти.
- How Many Test Users in a Usability Study?Почему на качественный тест обычно хватает пяти человек, когда нужно больше и когда хватит двух-трёх. Нильсен, 2012 год, тон резкий; цифра 20 для количественных тестов устарела, в новых статьях NN/g — от 40.