Что разберём
1Начните с решения и риска
Определите, какое решение команда должна принять и какая ошибка в нём будет дорогой.
Назовите следующий выбор
Проверка может помочь выбрать подход, начать разработку, расширить выпуск или остановить работу. Запишите конкретный выбор и сведения, которые для него нужны.
Вопрос «нравится ли новый блок» не объясняет, почему команда готова вложиться в решение. Уточните потребность, ожидаемый результат и риск неверного выбора.
Оцените последствия ошибки
| Риск | Что уточнить |
|---|---|
| Неверная потребность | Есть ли реальная ситуация, в которой изменение помогает человеку |
| Непонятный сценарий | Сможет ли человек выполнить действие в нужных условиях |
| Невыполнимое обещание | Есть ли достоверные данные и процесс их обновления |
| Вред после выпуска | Какие последствия возможны и как быстро команда сможет их обнаружить и исправить |
Сопоставьте стоимость проверки с затратами ошибочного решения. Учитывайте разработку, обслуживание, ручную работу и последствия для покупателя.
Проверьте возможность отката
Выясните, как ограничить воздействие и вернуться к прежнему поведению. Для сообщений с обещанной датой откат экрана не отменит обещание, уже полученное покупателем.
Если изменение трудно отменить, снимите существенные неизвестные до широкого выпуска. Назовите ответственного за наблюдение и действие при проблеме.
2Выберите достаточный способ проверки
Соберите сведения, которые отвечают на вопрос, без лишней разработки и неподтверждённых выводов.
Разделите этапы проверки
Сначала можно изучить проблему и проверить понимание сценария. Затем подтвердить данные и поведение системы, после чего оценить результат работающего изменения.
Порядок зависит от риска. Если система не может получить достоверный срок, проверьте эту зависимость до подробной отрисовки обещания.
Сравните затраты и границы способов
| Способ | Что он позволяет узнать |
|---|---|
| Изучение текущих ситуаций | Потребность, контекст и причины затруднения |
| Прототип с участниками | Понимание и действия в заданном сценарии |
| Технический пробный проход | Доступность данных и поведение реализации |
| Ограниченный выпуск | Работу решения в реальных условиях и возможные сбои |
| Контролируемый эксперимент | Влияние вариантов при корректном распределении, измерении и анализе |
Выпуск на ограниченную аудиторию сам по себе не создаёт контрольную группу. Он помогает проверить работу решения; причинный вывод требует подходящего плана сравнения.
Оцените возможность эксперимента
С аналитиком обсудите единицу распределения, стабильность групп, ожидаемую разницу и достаточный объём наблюдений. Учтите пользователей, которые возвращаются или влияют друг на друга.
Если полезную разницу нельзя надёжно оценить при доступных условиях, выберите другой следующий шаг. Например, проверьте причину проблемы или уточните подход на прототипе.
Microsoft в рекомендациях до эксперимента рассматривает гипотезу, метрики, единицу распределения и постепенное увеличение аудитории. Предварительные проверки помогают уменьшить риск воздействия на пользователей.
3Согласуйте план до получения результатов
Определите измерение и действия команды до того, как увидите движение показателей.
Назовите полезный эффект
Выберите показатель, связанный с результатом пользователя и целью продукта. Обсудите, какая разница имеет практический смысл и как её можно измерить.
Зафиксируйте основной показатель, дополнительные сведения для объяснения и условия качества. Для доставки ими могут быть завершение оформления, ошибки оплаты и достоверность показанного срока.
Отделите качество продукта от качества данных
| Группа сведений | Пример вопроса |
|---|---|
| Ожидаемый результат | Помогает ли изменение завершить выбранную задачу |
| Условия качества | Не ухудшились ли ошибки, доступность и другие согласованные условия |
| Качество данных | Верно ли распределены участники и одинаково ли собираются события |
С аналитиком согласуйте аудиторию, расчёт, объём наблюдений, план анализа и условия завершения проверки. Сохраните эти договорённости рядом с гипотезой.
Определите действия при проблеме
Продуктовое решение и ответственный: Гипотеза и исходные данные: Ошибка решения и её последствия: Неизвестное, которое проверяем первым: Способ проверки и границы вывода: Аудитория и условия участия: Для эксперимента: единица распределения и стабильность групп: Основной показатель и полезная разница: Условия качества и недопустимые последствия: Проверки событий, распределения и полноты данных: Объём наблюдений и план анализа, согласованные с аналитиком: Условия завершения и срочного прекращения: Как ограничиваем воздействие и возвращаем прежнее поведение: Дата обсуждения и варианты следующего решения:
Срочное прекращение из-за вреда и завершение анализа эффекта решают разные задачи. При остановке сохраните причину и ограничения оставшихся данных.
4Проверьте данные перед оценкой эффекта
Уточните, попали ли в анализ нужные участники и отражают ли события одинаковые действия.
Проверьте распределение и исключения
Сверьте заданные группы с фактическими участниками, устойчивость назначения варианта и причины исключения данных. Уточните, одинаково ли работают фильтры в обоих вариантах.
В случайном распределении количества могут различаться. Sample Ratio Mismatch, или SRM, означает статистически выявленное несоответствие наблюдаемого соотношения заданному.
Microsoft в разборе SRM предлагает сначала обнаружить и выяснить причину такого несоответствия. Авторы отмечают, что одного взгляда на соотношение групп недостаточно.
Сверьте смысл события
Проверьте, не изменилось ли в одном варианте то, что считается просмотром, началом или завершением. Более надёжный сбор может изменить показатель при прежнем поведении.
Если анализируете только часть аудитории, уточните правило включения в обеих группах. Отбор людей по нажатию на новый элемент может зависеть от самого изменения.
Выберите следующий шаг анализа
Проверка выявила SRM; причину ещё не установили.
Сначала выясните и устраните причину несоответствия. Не принимайте оценку эффекта как достоверную до разбора.
Данные и план корректны, но объёма недостаточно для оценки согласованной полезной разницы.
Запишите неопределённость и обсудите следующий шаг. Отсутствие ясного эффекта здесь не доказывает бесполезность изменения.
В одном варианте успех записывается по нажатию, в другом — после подтверждения оплаты.
События отражают разные результаты. Нужно восстановить сопоставимое измерение.
Распределение, события и исключения проверены; согласованный план и объём выполнены.
Можно оценивать эффект по плану, включая неопределённость и другие последствия. Это ещё не решение о выпуске.
В новую группу входят только нажавшие на новый блок; в контрольной группе эквивалентное условие не определено.
Отбор несопоставим и может зависеть от изменения. С аналитиком разберите условие включения.
Данные собраны правильно; анализ пока допускает как полезное изменение, так и ухудшение целевого результата.
Вывод неоднозначен. Уточните границы оценки и сведения, необходимые для решения.
5Разберите результат и его границы
Сопоставьте эффект с ожидаемой пользой, условиями качества и аудиторией, для которой его оценили.
Уточните размер и неопределённость
Попросите аналитика показать оценку эффекта и её неопределённость. Обсудите, какие полезные и нежелательные изменения совместимы с полученными данными.
Статистическая значимость не описывает ценность для продукта. Сравните размер изменения с согласованной полезной разницей и стоимостью решения.
Проверьте другие последствия
Рассмотрите основной показатель вместе с ошибками, скоростью, доступностью и другими условиями плана. При разном направлении изменений вернитесь к заранее согласованным правилам решения.
Microsoft в рекомендациях после эксперимента обсуждает качество сигналов, изменения знаменателя и компромиссы между показателями. Авторы предлагают сохранять гипотезу, результаты и принятое решение.
Сохраните границы аудитории
Результат отдельной группы относится к проверенным условиям. Не переносите выигрыш покупателей одного способа доставки на весь магазин без анализа покрытия.
Неожиданный сильный эффект разберите с аналитиком: проверьте реализацию и данные, при необходимости воспроизведите проверку. Сохраните, почему команда считает результат заслуживающим доверия.
6Измените решение, если основания не подтвердились
После анализа выберите следующий шаг через пользу, риск и качество сведений.
Вернитесь к исходному выбору
Покажите ожидание, проверенные сведения и оставшиеся вопросы. Если подход не решает выбранную проблему, предложите изменение или остановку работы в согласованных рамках.
Уже потраченное время не подтверждает пользу будущего выпуска. Обсудите, какой следующий шаг оправдан полученными данными и ожидаемыми последствиями.
Разберите действия в учебных ситуациях
Корректная проверка подтвердила полезный эффект; условия качества соблюдены; план предусматривает расширение выпуска.
Можно расширять выпуск по согласованному плану с наблюдением за условиями качества.
Ошибки оплаты превысили согласованную недопустимую границу; доступен возврат прежнего поведения.
Приостановите расширение и выполните предусмотренный планом возврат. Затем разберите причину и дальнейший подход.
После разбора обнаружили потерянные события в одном варианте; оценка эффекта недостоверна.
Восстановите проверку данных и сопоставимый анализ. Эти сведения ещё не подтверждают пользу или бесполезность подхода.
Надёжная проверка показала, что выбранный подход не помогает в целевой ситуации; цель продукта остаётся актуальной.
Пересмотрите подход к этой потребности. Повторение того же решения без нового основания не исправит причину.
Результат неоднозначен; нет недопустимого вреда, но данных недостаточно для решения по согласованной полезной разнице.
Обсудите необходимые сведения и допустимые затраты следующего шага. Не объявляйте победителя по направлению графика.
Ограниченная проверка подтвердила возможность следующего этапа; его условия и контроль риска уже согласованы.
Можно переходить к согласованному следующему этапу. Предыдущая проверка не снимает вопросы, которые этот этап должен изучить.
Зафиксируйте решение и причину
Исходное решение и гипотеза: Проверка, аудитория и даты: Качество данных и ограничения: Оценка эффекта и неопределённость: Соответствие полезной разнице: Другие последствия и условия качества: Что узнали о причине проблемы: Решение: следующий этап, доработка, дополнительная проверка или остановка: Основание решения и ответственный: Какое условие проверяем дальше: Кто наблюдает результат после выпуска: Когда и при каких данных вернёмся к выбору:
7Подготовьте проверку для продуктового решения
Выберите задачу, по которой команда сейчас спорит о дальнейшем вложении или выпуске.
Назовите риск и неизвестное
- Запишите следующий выбор и последствия ошибки.
- Выделите предположение, которое может изменить подход.
- Сравните способы получить ответ по границам, времени и затратам.
- Подключите исследователя, аналитика и владельца технической зависимости.
Согласуйте план и проведите проверку
Определите показатели, условия качества и качество данных. Назовите объём, участников решения, дату разбора и действия при недопустимом последствии.
После проверки сопоставьте сведения с гипотезой. При изменении основания обновите подход и объясните команде причину нового выбора.
Сохраните знание для следующей задачи
Оставьте доступную запись гипотезы, условий, результатов и решения. Отметьте, для какой аудитории вывод действует и что ещё осталось неизвестным.
Следующая тема — «Передача в разработку»: подготовка макетов, состояний, поведения и договорённостей, которые помогают собрать выбранное решение.
Что почитать дальше
- Patterns of Trustworthy Experimentation: Pre-Experiment StageКак подготовить гипотезу, метрики, распределение и постепенный выпуск с учётом риска.
- Diagnosing Sample Ratio Mismatch in A/B TestingКак несоответствие распределения связано с качеством эксперимента и почему нужно разбирать причину.
- Patterns of Trustworthy Experimentation: Post-Experiment StageКак проверить смысл сигналов, оценить последствия и сохранить решение после эксперимента.