Меню
Поиск

Продукт и метрики · Проверка и метрики

Как выбрать проверку по риску и принять решение по результату

Свяжите проверку с продуктовым решением, выберите достаточный способ и проверьте качество данных. В уроке — риски, план эксперимента, неоднозначный результат, тренажёры и шаблоны.

Пример для всего урока. В вымышленной «Лесной обжарке» команда выбирает, как проверить показ срока получения до оплаты. Возможные изменения затрагивают сайт, данные и работу сотрудников. Все ситуации ниже учебные.

1Начните с решения и риска

Определите, какое решение команда должна принять и какая ошибка в нём будет дорогой.

Назовите следующий выбор

Проверка может помочь выбрать подход, начать разработку, расширить выпуск или остановить работу. Запишите конкретный выбор и сведения, которые для него нужны.

Вопрос «нравится ли новый блок» не объясняет, почему команда готова вложиться в решение. Уточните потребность, ожидаемый результат и риск неверного выбора.

Оцените последствия ошибки

РискЧто уточнить
Неверная потребностьЕсть ли реальная ситуация, в которой изменение помогает человеку
Непонятный сценарийСможет ли человек выполнить действие в нужных условиях
Невыполнимое обещаниеЕсть ли достоверные данные и процесс их обновления
Вред после выпускаКакие последствия возможны и как быстро команда сможет их обнаружить и исправить

Сопоставьте стоимость проверки с затратами ошибочного решения. Учитывайте разработку, обслуживание, ручную работу и последствия для покупателя.

Проверьте возможность отката

Выясните, как ограничить воздействие и вернуться к прежнему поведению. Для сообщений с обещанной датой откат экрана не отменит обещание, уже полученное покупателем.

Если изменение трудно отменить, снимите существенные неизвестные до широкого выпуска. Назовите ответственного за наблюдение и действие при проблеме.

2Выберите достаточный способ проверки

Соберите сведения, которые отвечают на вопрос, без лишней разработки и неподтверждённых выводов.

Разделите этапы проверки

Сначала можно изучить проблему и проверить понимание сценария. Затем подтвердить данные и поведение системы, после чего оценить результат работающего изменения.

Порядок зависит от риска. Если система не может получить достоверный срок, проверьте эту зависимость до подробной отрисовки обещания.

Сравните затраты и границы способов

СпособЧто он позволяет узнать
Изучение текущих ситуацийПотребность, контекст и причины затруднения
Прототип с участникамиПонимание и действия в заданном сценарии
Технический пробный проходДоступность данных и поведение реализации
Ограниченный выпускРаботу решения в реальных условиях и возможные сбои
Контролируемый экспериментВлияние вариантов при корректном распределении, измерении и анализе

Выпуск на ограниченную аудиторию сам по себе не создаёт контрольную группу. Он помогает проверить работу решения; причинный вывод требует подходящего плана сравнения.

Оцените возможность эксперимента

С аналитиком обсудите единицу распределения, стабильность групп, ожидаемую разницу и достаточный объём наблюдений. Учтите пользователей, которые возвращаются или влияют друг на друга.

Если полезную разницу нельзя надёжно оценить при доступных условиях, выберите другой следующий шаг. Например, проверьте причину проблемы или уточните подход на прототипе.

Microsoft в рекомендациях до эксперимента рассматривает гипотезу, метрики, единицу распределения и постепенное увеличение аудитории. Предварительные проверки помогают уменьшить риск воздействия на пользователей.

3Согласуйте план до получения результатов

Определите измерение и действия команды до того, как увидите движение показателей.

Назовите полезный эффект

Выберите показатель, связанный с результатом пользователя и целью продукта. Обсудите, какая разница имеет практический смысл и как её можно измерить.

Зафиксируйте основной показатель, дополнительные сведения для объяснения и условия качества. Для доставки ими могут быть завершение оформления, ошибки оплаты и достоверность показанного срока.

Отделите качество продукта от качества данных

Группа сведенийПример вопроса
Ожидаемый результатПомогает ли изменение завершить выбранную задачу
Условия качестваНе ухудшились ли ошибки, доступность и другие согласованные условия
Качество данныхВерно ли распределены участники и одинаково ли собираются события

С аналитиком согласуйте аудиторию, расчёт, объём наблюдений, план анализа и условия завершения проверки. Сохраните эти договорённости рядом с гипотезой.

Определите действия при проблеме

План проверки по риску
Продуктовое решение и ответственный:
Гипотеза и исходные данные:
Ошибка решения и её последствия:
Неизвестное, которое проверяем первым:
Способ проверки и границы вывода:
Аудитория и условия участия:
Для эксперимента: единица распределения и стабильность групп:
Основной показатель и полезная разница:
Условия качества и недопустимые последствия:
Проверки событий, распределения и полноты данных:
Объём наблюдений и план анализа, согласованные с аналитиком:
Условия завершения и срочного прекращения:
Как ограничиваем воздействие и возвращаем прежнее поведение:
Дата обсуждения и варианты следующего решения:

Срочное прекращение из-за вреда и завершение анализа эффекта решают разные задачи. При остановке сохраните причину и ограничения оставшихся данных.

4Проверьте данные перед оценкой эффекта

Уточните, попали ли в анализ нужные участники и отражают ли события одинаковые действия.

Проверьте распределение и исключения

Сверьте заданные группы с фактическими участниками, устойчивость назначения варианта и причины исключения данных. Уточните, одинаково ли работают фильтры в обоих вариантах.

В случайном распределении количества могут различаться. Sample Ratio Mismatch, или SRM, означает статистически выявленное несоответствие наблюдаемого соотношения заданному.

Microsoft в разборе SRM предлагает сначала обнаружить и выяснить причину такого несоответствия. Авторы отмечают, что одного взгляда на соотношение групп недостаточно.

Сверьте смысл события

Проверьте, не изменилось ли в одном варианте то, что считается просмотром, началом или завершением. Более надёжный сбор может изменить показатель при прежнем поведении.

Если анализируете только часть аудитории, уточните правило включения в обеих группах. Отбор людей по нажатию на новый элемент может зависеть от самого изменения.

Выберите следующий шаг анализа

Тренажёр: что мешает оценке эффекта
  1. Проверка выявила SRM; причину ещё не установили.

  2. Данные и план корректны, но объёма недостаточно для оценки согласованной полезной разницы.

  3. В одном варианте успех записывается по нажатию, в другом — после подтверждения оплаты.

  4. Распределение, события и исключения проверены; согласованный план и объём выполнены.

  5. В новую группу входят только нажавшие на новый блок; в контрольной группе эквивалентное условие не определено.

  6. Данные собраны правильно; анализ пока допускает как полезное изменение, так и ухудшение целевого результата.

Корректный сбор и достаточность наблюдений проверяют отдельно от желания выпустить решение.

5Разберите результат и его границы

Сопоставьте эффект с ожидаемой пользой, условиями качества и аудиторией, для которой его оценили.

Уточните размер и неопределённость

Попросите аналитика показать оценку эффекта и её неопределённость. Обсудите, какие полезные и нежелательные изменения совместимы с полученными данными.

Статистическая значимость не описывает ценность для продукта. Сравните размер изменения с согласованной полезной разницей и стоимостью решения.

Проверьте другие последствия

Рассмотрите основной показатель вместе с ошибками, скоростью, доступностью и другими условиями плана. При разном направлении изменений вернитесь к заранее согласованным правилам решения.

Microsoft в рекомендациях после эксперимента обсуждает качество сигналов, изменения знаменателя и компромиссы между показателями. Авторы предлагают сохранять гипотезу, результаты и принятое решение.

Сохраните границы аудитории

Результат отдельной группы относится к проверенным условиям. Не переносите выигрыш покупателей одного способа доставки на весь магазин без анализа покрытия.

Неожиданный сильный эффект разберите с аналитиком: проверьте реализацию и данные, при необходимости воспроизведите проверку. Сохраните, почему команда считает результат заслуживающим доверия.

6Измените решение, если основания не подтвердились

После анализа выберите следующий шаг через пользу, риск и качество сведений.

Вернитесь к исходному выбору

Покажите ожидание, проверенные сведения и оставшиеся вопросы. Если подход не решает выбранную проблему, предложите изменение или остановку работы в согласованных рамках.

Уже потраченное время не подтверждает пользу будущего выпуска. Обсудите, какой следующий шаг оправдан полученными данными и ожидаемыми последствиями.

Разберите действия в учебных ситуациях

Тренажёр: какой шаг обоснован
  1. Корректная проверка подтвердила полезный эффект; условия качества соблюдены; план предусматривает расширение выпуска.

  2. Ошибки оплаты превысили согласованную недопустимую границу; доступен возврат прежнего поведения.

  3. После разбора обнаружили потерянные события в одном варианте; оценка эффекта недостоверна.

  4. Надёжная проверка показала, что выбранный подход не помогает в целевой ситуации; цель продукта остаётся актуальной.

  5. Результат неоднозначен; нет недопустимого вреда, но данных недостаточно для решения по согласованной полезной разнице.

  6. Ограниченная проверка подтвердила возможность следующего этапа; его условия и контроль риска уже согласованы.

Действие зависит от заданных условий плана. В своей работе согласуйте последствия и полномочия участников.

Зафиксируйте решение и причину

Решение по результату проверки
Исходное решение и гипотеза:
Проверка, аудитория и даты:
Качество данных и ограничения:
Оценка эффекта и неопределённость:
Соответствие полезной разнице:
Другие последствия и условия качества:
Что узнали о причине проблемы:
Решение: следующий этап, доработка, дополнительная проверка или остановка:
Основание решения и ответственный:
Какое условие проверяем дальше:
Кто наблюдает результат после выпуска:
Когда и при каких данных вернёмся к выбору:

7Подготовьте проверку для продуктового решения

Выберите задачу, по которой команда сейчас спорит о дальнейшем вложении или выпуске.

Назовите риск и неизвестное

  1. Запишите следующий выбор и последствия ошибки.
  2. Выделите предположение, которое может изменить подход.
  3. Сравните способы получить ответ по границам, времени и затратам.
  4. Подключите исследователя, аналитика и владельца технической зависимости.

Согласуйте план и проведите проверку

Определите показатели, условия качества и качество данных. Назовите объём, участников решения, дату разбора и действия при недопустимом последствии.

После проверки сопоставьте сведения с гипотезой. При изменении основания обновите подход и объясните команде причину нового выбора.

Сохраните знание для следующей задачи

Оставьте доступную запись гипотезы, условий, результатов и решения. Отметьте, для какой аудитории вывод действует и что ещё осталось неизвестным.

Следующая тема — «Передача в разработку»: подготовка макетов, состояний, поведения и договорённостей, которые помогают собрать выбранное решение.

Что почитать дальше

  • Patterns of Trustworthy Experimentation: Pre-Experiment StageMicrosoft Research, Experimentation Platform · на английском · бесплатноКак подготовить гипотезу, метрики, распределение и постепенный выпуск с учётом риска.
  • Diagnosing Sample Ratio Mismatch in A/B TestingMicrosoft Research, Experimentation Platform · на английском · бесплатноКак несоответствие распределения связано с качеством эксперимента и почему нужно разбирать причину.
  • Patterns of Trustworthy Experimentation: Post-Experiment StageMicrosoft Research, Experimentation Platform · на английском · бесплатноКак проверить смысл сигналов, оценить последствия и сохранить решение после эксперимента.