Что разберём
- Все показатели продукта в одной таблицесводка
- Разговор о решении за числомшаблон
- На что влияем, за чем наблюдаемтренажёр
- Как убрать мёртвый показательпереключатель
- Показатель, который толкает к вредномуистория
- Цель сменилась — набор тожепоиск
1Все показатели продукта в одной таблице
Пока показатели разбросаны по экранам, спорить о них бесполезно: каждый защищает свой экран. Сначала их сводят в одну таблицу.
Для каждого показателя нужны четыре вещи:
- на каком он экране;
- кто на него смотрит;
- какое решение по нему принимают;
- когда его открывали в последний раз.
Первые две видно в админке. Третью надо спросить у людей. Четвёртую подскажут журналы просмотров, если система их ведёт.
| Показатель | Экран | Кто смотрит | Какое решение | Открывали |
|---|---|---|---|---|
| Остаток сортов в днях продаж | Продажи и склад | Управляющая | Что заказать у обжарщиков | Каждую неделю |
| Выручка к плану | Продажи и склад, Финансы | Управляющая, владелец | Нужна ли акция до конца месяца | Каждую неделю |
| Доля заказов, собранных с ошибкой | Сборка | Старший сборщик | Разобрать ошибки со сборщиками | Каждый день |
| Время от оплаты до передачи курьеру | Сборка | Старший сборщик | Вывести второго сборщика | Каждый день |
| Обращения в поддержку по темам | Поддержка | Поддержка | Что дописать в ответы на частые вопросы | Раз в неделю |
| Доля открытых писем рассылки | Маркетинг | Маркетолог | Менять ли тему письма | После каждой рассылки |
| Заказы по часам | Продажи и склад | Управляющая | График смен — раз в квартал | 3 месяца назад |
| Средняя глубина просмотра | Маркетинг | Маркетолог | «Смотрю, но не знаю, что с ней делать» | 3 недели назад |
| Посетители сайта | Сводка, Маркетинг | Все понемногу | Никто не назвал | Каждый день |
| Просмотры страниц | Маркетинг | — | Никто не назвал | 2 месяца назад |
| Зарегистрированные аккаунты | Сводка | — | Никто не назвал | — |
| Выручка за всё время | Финансы | Владелец | «Приятно видеть» | Каждый день |
В таблице 12 строк из 38. Итог по всем:
- для 14 показателей никто не назвал решения;
- 6 нужны раз в квартал;
- 3 повторяют друг друга на разных экранах под разными названиями — «Заказы», «Оплаченные заказы» и «Продажи, шт.» считают одно и то же.
Обратите внимание на «Посетителей сайта»: их открывают каждый день, но решения за ними нет.
Частые просмотры не доказывают, что показатель нужен, — на него может смотреть каждый просто потому, что он стоит первым.
2Разговор о решении за числом
Состав показателей — продуктовое решение, и принимают его вместе с теми, кто по ним работает. Дизайнер ведёт разговор, а не выносит приговор.
Главный вопрос про каждый показатель — «какое решение вы по нему принимаете».
На него часто отвечают общими словами: «слежу», «чтобы понимать динамику». Поэтому вопрос раскладывают на несколько конкретных:
ПОКАЗАТЕЛЬ: ______________________ ЭКРАН: ______________ КТО ЗАВЁЛ: ______________ КТО СМОТРИТ: ______________ 1. Какое решение вы принимаете по этому числу? ______________________ 2. Что сделаете, если оно завтра вырастет вдвое? А если упадёт вдвое? ______________________ 3. При каком значении решение изменится? порог: ________ 4. Кто делает и как скоро после того, как увидел? ________ 5. Меняется ли число от вашей работы на этой неделе? да — показатель влияния / нет — показатель наблюдения 6. Что может пойти не так, если сделать его целью? противовес: ______________________ ИТОГ: оставить / в отчёт / убрать / заменить на ______________ ПРИЧИНА: ______________________
Так выглядел разговор о «Посетителях сайта» с маркетологом:
| Вопрос | Ответ |
|---|---|
| Какое решение вы принимаете по посетителям? | Смотрю, выросло ли после рассылки |
| Что сделаете, если число упадёт вдвое? | Проверю, не сломался ли счётчик и не выключилась ли реклама |
| А если вырастет, а заказов не прибавится? | Значит, это были не те люди. Радоваться нечему |
| Выходит, решение принимается по заказам из рассылки, а посетители — промежуточный шаг? | Похоже, что да |
Итог: «Посетители сайта» уходят в отчёт маркетинга, где помогают искать сбои. На экран маркетинга встают «Заказы из рассылки» с базой — средним по прошлым рассылкам. Решение осталось тем же, но число теперь отвечает на вопрос, который задают.
От цели к показателю
Этот ход предложили в Google в 2010 году в статье о фреймворке HEART.
Сначала записать цель, потом признаки того, что она достигается, и только потом выбрать число, которым эти признаки мерить. Процесс так и называется — «цели — сигналы — метрики».
Обратный путь — взять то, что легко посчитать, и искать ему применение — даёт как раз «Выручку за всё время».
3На что влияем, за чем наблюдаем
Выручку нельзя «сделать» на этой неделе — можно только сделать то, от чего она потом вырастет. Показатели делятся на те, что команда меняет своей работой, и те, что подводят итог.
Выручка — итог сотни причин: сезона, рекламы, цен, погоды, работы склада.
По ней видно, хорошо ли идут дела, но не видно, что делать в понедельник.
Решения принимают по показателям влияния — тем, которые конкретные люди меняют своей работой:
| Итог — наблюдаем | Влияние — меняем работой | Кто меняет |
|---|---|---|
| Выручка за месяц | Доля дней, когда сорт есть в наличии | Управляющая — закупкой |
| Время от оплаты до передачи курьеру | Сборка | |
| Доля заказов, собранных без ошибок | Сборка | |
| Покупатели, вернувшиеся за 60 дней | Доля обращений, решённых с первого ответа | Поддержка |
| Доля покупателей, получивших письмо о новом сорте их любимой страны | Маркетолог |
В Amazon это называют управляемыми входными показателями и разбирают вместе с итоговыми: итоговые показывают результат, входные подсказывают, что делать.
Похожее деление — «ведущий» и «запаздывающий» показатель: возвращение покупателя за 60 дней сообщает о будущей выручке раньше, чем выручка сама.
Но ведущий — ещё не значит управляемый. Возвращение покупателя — тоже итог, на него влияют через наличие, скорость и поддержку.
Когда показатель влияния не тот
Показатель влияния тоже может оказаться не тем. Если он растёт, а итог стоит, связь между ними придумана: доставка ускорилась, а покупатели не стали возвращаться чаще. Значит, возвращаются они по другой причине, и её надо искать.
В Amazon через это прошли с ассортиментом. Колин Брайар и Билл Карр вспоминают об этом в книге «Working Backwards» — по-русски она вышла как «Стратегия Amazon».
Сначала мерили число новых страниц товаров — и команды стали добавлять тысячи позиций, в том числе с невысоким спросом. Страниц стало больше, а продажи не выросли.
Показатель уточняли в несколько шагов. Сначала просмотры страниц, потом доля просмотров, где товар в наличии. В итоге — доля просмотров, где товар в наличии и готов к отправке за два дня.
Проверьте себя
Шесть показателей админки. На какой команда влияет своей работой, а за каким наблюдает?
Выручка за месяц.
НаблюдаемИтог многих причин. По ней проверяют, работают ли решения, но сами решения принимают по другим числам.
Время от оплаты до передачи курьеру.
ВлияемЕго меняет сборка: второй сборщик, порядок сборки, заготовки популярных сортов.
Доля дней, когда сорт был в наличии.
ВлияемЕё меняет закупка: когда и сколько заказывать у обжарщиков.
Средняя оценка магазина в отзывах.
НаблюдаемИтог всего опыта покупателя. Влиять на неё напрямую — значит выпрашивать отзывы, а не улучшать магазин.
Доля обращений в поддержку, решённых с первого ответа.
ВлияемЕё меняет поддержка: готовые ответы, право сразу вернуть деньги, понятные инструкции.
Доля покупателей, вернувшихся за 60 дней.
НаблюдаемИтог, хотя и ранний: сообщает о будущей выручке. Влияют на него через наличие, скорость и поддержку.
4Как убрать мёртвый показатель
За каждым показателем стоит человек, который когда-то его попросил. Убрать показатель — значит договориться с этим человеком, а не удалить график.
Мёртвый показатель — тот, у которого нет решения, или решение есть, но по другому числу. Признаки:
- никто не может назвать решение и порог;
- повторяет другой показатель под другим названием;
- только растёт, как «за всё время»;
- не открывали месяцами;
- данные ненадёжны, и все это знают, но смотрят по привычке.
Тот, кто завёл показатель, обычно помнит причину: однажды что-то сломалось, и это число помогло заметить.
Причина может быть уже неактуальной, но обижать человека, отмахнувшись от неё, незачем. Сравните два способа предложить перемену.
Приговор
«Этот график никому не нужен, я его убираю».
Маркетолог защищает график, потому что защищает свою работу. Разговор о решении не начинается, график остаётся, а с ним и недоверие к разбору.
Договорённость
«Вы говорили, что смотрите на глубину, но не знаете, что с ней делать. Перенесём её в отчёт маркетинга — она там будет. А на экран поставим заказы из рассылки: по ним вы решаете, менять ли письмо. Через месяц посмотрим, открывал ли кто-нибудь отчёт с глубиной».
Показатель не исчезает, а переезжает. Решение, ради которого человек смотрит на экран, получает своё число. А через месяц данные о просмотрах ответят на спор без участия сторон.
Порядок, который работает:
- Найдите, кто завёл показатель и зачем. Причина бывает разумной — тогда показатель меняют, а не убирают.
- Спросите о решении по шаблону из второго раздела.
- Предложите перенос, а не удаление: отчёт, вкладка «подробно», рассылка раз в месяц.
- Договоритесь о сроке проверки: «если за месяц отчёт никто не открыл — убираем совсем».
- Запишите в журнал набора: что убрали, почему, кто согласовал. Через полгода кто-нибудь спросит, куда делся график.
5Показатель, который толкает к вредному
Как только показатель становится целью, люди начинают улучшать число — иногда за счёт того, ради чего его считали.
Летом владелец поставил сборке цель: среднее время сборки заказа — не больше 15 минут. Через шесть недель цель была достигнута. Ниже два графика экрана «Сборка» за эти недели.
Сборщики стали быстрее — и перестали сверять помол и сорт перед упаковкой: проверка занимала две минуты из пятнадцати.
Доля заказов с ошибкой выросла втрое. Каждая ошибка — это возврат, повторная доставка и покупатель, который больше не придёт.
Закон Гудхарта
Эту закономерность называют законом Гудхарта — по имени британского экономиста Чарльза Гудхарта.
В докладе 1975 года о денежной политике он писал, что любая наблюдаемая закономерность разрушается, как только на неё начинают давить ради управления.
Короткую формулировку «когда мера становится целью, она перестаёт быть хорошей мерой» дала антрополог Мэрилин Стратерн в 1997 году, пересказывая Гудхарта.
Почти одновременно с Гудхартом, в 1976 году, социальный психолог Дональд Кэмпбелл вывел похожий закон. Чем больше решений принимают по показателю, тем сильнее на него давят и тем больше он искажает то, что должен измерять.
Известный случай — американский банк Wells Fargo. В 2016 году регулятор оштрафовал его на 100 млн долларов: под давлением планов продаж и бонусов сотрудники открывали счета, которых клиенты, возможно, не разрешали.
По анализу самого банка это были около 1,5 млн депозитных счетов и 565 тысяч заявок на кредитные карты. В 2017 году банк расширил проверку и насчитал около 3,5 млн таких счетов.
Что с этим делать
Что с этим делать:
- У показателя-цели — противовес. Это пара, которая покажет, какой ценой цель достигнута. Например: время сборки — и доля ошибок; время ответа поддержки — и доля повторных обращений; новые подписки — и подписки, прожившие два месяца. В экспериментах похожие показатели называют ограничителями: они предупреждают, что главный показатель растёт не по той причине или ценой того, что ломать нельзя.
- Цель — по показателю влияния, а не по итогу, и такому, которым трудно «сыграть». Например, «доля заказов, переданных курьеру в день оплаты» сложнее улучшить за счёт качества, чем «среднее время сборки».
- Спросите заранее: как проще всего улучшить это число, ничего не улучшив? Ответ подскажет противовес. Это шестой вопрос шаблона из второго раздела.
| Цель | Как улучшить число, ничего не улучшив | Противовес |
|---|---|---|
| Время сборки — до 15 минут | Не проверять заказ перед упаковкой | Доля заказов, собранных с ошибкой |
| Первый ответ поддержки — в течение часа | Сразу отвечать «Разбираемся» и закрывать обращение | Доля обращений, вернувшихся повторно |
| Новые подписки — плюс 100 за месяц | Скидка 50 % на первую доставку для тех, кто отменит после неё | Подписки, которые живут дольше двух месяцев |
| Открытия писем рассылки — 40 % | Темы-приманки, после которых отписываются | Отписки после письма |
6Цель сменилась — набор тоже
Набор показателей отвечает на вопрос «как идут дела» для конкретной цели. Цель поменялась — старые показатели начинают отвечать на вопрос, который уже никто не задаёт.
Два года «Лесная обжарка» росла за счёт новых покупателей: реклама, промокоды, подарки к первому заказу.
Теперь магазин запускает подписку — пачку кофе раз в две недели. Цель меняется: не привести как можно больше людей, а сделать так, чтобы они оставались.
| Что делать | Показатели |
|---|---|
| Поднять наверх | Активные подписки, отменили за месяц, покупатели, вернувшиеся за 60 дней |
| Добавить | Подписки, прожившие два месяца, — противовес новым подпискам; причины отмены |
| Оставить с противовесом | Время сборки — вместе с долей ошибок: подписчик, получивший не тот сорт, отменяет подписку |
| Перенести в отчёт | Новые покупатели по рекламным каналам, стоимость привлечения |
| Убрать | Зарегистрированные аккаунты, выручка за всё время |
Журнал набора
Каждое такое изменение — запись в журнале набора: дата, что изменилось, почему и кто согласовал.
Журнал отвечает на вопрос «куда делся мой график» и показывает, когда набор пересматривали в последний раз. Если пересмотров не было год, а цель за это время менялась, — пора.
ЖУРНАЛ НАБОРА ПОКАЗАТЕЛЕЙ: ______________________
ЦЕЛЬ ПРОДУКТА СЕЙЧАС: ______________________ с __.__.____
__.__.____ показатель: ______________________
изменение: добавлен / убран / в отчёт / противовес / переименован
почему: ______________________
согласовал: ______________
__.__.____ показатель: ______________________
изменение: добавлен / убран / в отчёт / противовес / переименован
почему: ______________________
согласовал: ______________
СЛЕДУЮЩИЙ ПЕРЕСМОТР: __.__.____ или при смене цели
Новый набор для экрана владельца собрал младший дизайнер. Пять мест в нём остались от старой цели или поставят команду не туда.
- «Посетители сайта» с целью 80 000 — первой плиткой.Убрать с экрана. Показатель старой цели, да ещё и сделанный целью: число посетителей легко поднять рекламой, не получив ни одного подписчика. Решения владельца по нему нет — место в отчёте маркетинга.
- «Активные подписки».Оставить. Главный показатель новой цели, и решение по нему названо: сколько зерна закупать вперёд.
- «Подписчики за всё время».Убрать. Число только растёт, даже когда подписчики уходят. Оно скрывает ровно то, ради чего пересматривали набор. Активные подписки и отмены за месяц уже стоят на экране.
- «Отменили подписку» за месяц.Оставить. Ранний сигнал для новой цели, и решение есть: звонить отменившим и разбирать причины.
- «Новые подписки» как цель для маркетинга.Дописать. Цель на новые подписки без противовеса толкает к скидкам для тех, кто отменит после первой доставки. Нужна пара — подписки старше двух месяцев — и цель лучше ставить по ней.
- «Подписки старше двух месяцев».Оставить. Противовес новым подпискам, подписан как противовес. Показывает, остаются ли люди.
- «Время сборки» с целью «до 15» без пары.Дописать. История с ошибками сборки повторится: рядом нужна доля заказов, собранных с ошибкой. Для подписки она важнее скорости — не тот сорт и есть причина отмены.
- «Выручка за месяц» с пометкой «итог».Оставить. Итоговый показатель честно подписан как итог: по нему проверяют, работают ли решения, а не ставят цели.
- «Стоимость привлечения» на экране владельца.В отчёт. Решение по ней принимает маркетолог, а не владелец, и относится оно к старой цели — привести как можно больше людей. На экране владельца она отнимает место у показателей удержания.
- «Сорта в наличии».Оставить. Показатель влияния с владельцем — закупкой. Подписчик, которому прислали замену вместо любимого сорта, отменяет чаще.
Все пять найдены. Показатель старой цели наверху, число «за всё время», цель без противовеса дважды и чужое решение на экране владельца. Каждое из этих мест тянуло бы команду к прежней цели.
7Задание
Проведите разбор состава показателей с продуктом: по каждому запишите, какое решение он поддерживает, и предложите, что убрать.
Часть 1 · Сводка, 40 минут
- Соберите все показатели со всех экранов продукта в одну таблицу: экран, кто смотрит, когда открывали. Если своего продукта нет, возьмите админку «Лесной обжарки» из уроков этой темы.
- Найдите повторы под разными названиями и сведите их.
- Запишите цель продукта одной фразой. Если не получается — это первый вопрос к продукту.
Часть 2 · Разговор, 60 минут
- Договоритесь о встрече с продактом или владельцем и с теми, кто смотрит на экраны.
- Пройдите показатели по шаблону из второго раздела: решение, порог, кто делает, влияем или наблюдаем, противовес.
- Для каждого предложите итог: оставить, в отчёт, убрать, заменить. Убирать — по договорённости и со сроком проверки.
Часть 3 · Журнал, 20 минут
- Заведите журнал набора по шаблону из шестого раздела и запишите все изменения с причинами.
- Назначьте дату следующего пересмотра.
Что должно получиться
- Сводная таблица показателей с решением, порогом и владельцем у каждого.
- Список изменений: что убрано, что перенесено, где появился противовес.
- Журнал набора с первой записью — целью продукта — и датой следующего пересмотра.
План работы: 40 минут на сводку, час на разговор, 20 минут на журнал. Всего — два часа, разговор можно разбить на две встречи.
Частые сложности
- «Продакт говорит, что нужны все показатели». Пройдите шаблон по одному показателю вместе. Обычно после третьего «не знаю, при каком значении» разговор меняется сам.
- «Цель продукта не сформулирована». Тогда разбор показателей начинать рано. Принесите продакту вопрос о цели и два-три варианта формулировки — это тоже результат.
- «Показатель нужен руководителю, но решения он не называет». Перенесите в отчёт или рассылку раз в месяц и договоритесь о проверке. Удалять без согласия не нужно.
- «Не можем найти противовес». Спросите, как улучшить число, ничего не улучшив. Если ответ «никак» — проверьте ещё раз через месяц после того, как поставите цель.
8Чек-лист и ошибки
Набор показателей готов, если
- Все показатели продукта сведены в одну таблицу, повторы убраны
- Цель продукта записана одной фразой
- У каждого показателя названы решение, порог и человек
- Показатели влияния отличены от итоговых
- На каждый итог есть показатели влияния с владельцем
- У каждого показателя-цели есть противовес на том же экране
- Убранные показатели записаны в журнал с причиной и согласованием
- Назначен следующий пересмотр
Что мешает
- Показатель, потому что его легко посчитать. Решения за ним нет, а место на экране он занимает.
- Цель по итоговому показателю. Команда не знает, что делать в понедельник.
- Цель без противовеса. Число улучшается за счёт того, ради чего его считали.
- Удаление приговором. Показатель возвращается через неделю, а с ним — недоверие.
- Набор не пересматривали после смены цели. Экран отвечает на вопросы, которые уже никто не задаёт.
9Три ступени темы
На этой ступени дизайнер отвечает уже не за экран, а за то, на какие числа смотрит продукт и куда они ведут команду.
| Ступень | Что нужно уметь | Как проверить результат |
|---|---|---|
| Junior | Подписывать показатель так, чтобы было ясно, что посчитано; указывать период; выбирать простой график под данные; не рисовать круг на семи долях; начинать столбцы с нуля | Человек, впервые увидевший экран, объясняет каждое число своими словами |
| Middle | Давать числу базу сравнения; выбирать график под вопрос; показывать отклонение заметно, а норму спокойно; убирать показатели, на которые не смотрят; ставить главное наверх | По каждому показателю можно назвать решение, которое по нему принимают |
| Senior — этот урок | Вести с продуктом разговор о решении за каждым показателем; отличать показатели влияния от показателей наблюдения; убирать мёртвые показатели по договорённости; видеть, где показатель толкает к вредному; пересматривать набор при смене цели | Хотя бы один показатель убран, и причина записана |
Что почитать дальше
- Одержимость контролируемыми входными метрикамиПеревод эссе Седрика Чина о входных и итоговых показателях Amazon: упражнение «переведи итоговый показатель отдела во входной» на примерах продаж, маркетинга, разработки и поддержки и как Amazon страхует показатели от подгонки: владелец, аудит, еженедельный разбор. Перевод тяжеловат.
- Что нужно знать о North Star MetricОбъяснение North Star Metric: пять критериев выбора, почему выручка запаздывает и не годится в главные показатели, чем главный показатель продукта отличается от показателя этапа. Для главного показателя здесь советуют абсолютные числа, а урок для цели команды — долю.
- Сократили цикл разработки на 20% — и получили вдвое больше инцидентовКейс руководителя по надёжности: цель «цикл разработки −20 %» достигнута, а инцидентов стало вдвое больше. Как ввели контрметрики, подписали целевые значения у CPO и CTO, заранее договорились о действиях при отклонении и полгода убеждали руководство.
- Почему решения принимаются не на основе дашбордов?Короткий кейс аналитика интернет-магазина: рост посетителей и удержания скрыл, что 30 % товаров категории полгода не продавались. Как показатель проверили вручную, оценили цену проблемы, ошиблись со скидкой и превратили дашборд в маршрут задач к командам.
- Vanity Metrics vs. Actionable MetricsГостевой пост Эрика Риса 2009 года, где введено различие тщеславных и действенных показателей: «10 000 заходов — и что дальше?», когорты, показатели на клиента. Рис советует мерить крупное — клиентов и деньги, а не клики; урок добавляет к итогу показатели влияния. Инструменты устарели.
- Measuring the User Experience on a Large Scale: User-Centered Metrics for Web ApplicationsСтатья Google с конференции CHI 2010: пять категорий HEART и процесс «цели — сигналы — метрики», на который опирается урок, с примерами Gmail, Google Finance и Maps. Отдельно разобрано, почему просмотры и активных за неделю трудно толковать. На английском.