Проводить обзор продуктовых метрик нужно на постоянной основе. Это позволяет быстро выявлять любые неожиданные изменения показателей и оперативно устранять проблемы. Вот некоторые ключевые вопросы для проверки метрик:
• Как поменялись графики для тех или иных показателей по сравнению с предыдущим периодом? Они пошли вверх или вниз? Что вызвало эти изменения?
• Отмечается ли влияние недавних продуктовых или маркетинговых изменений на показатели?
• Превысил ли какой-либо показатель свой порог настолько, что это стоило бы отметить?[28]
• Прослеживаются ли какие-нибудь долгосрочные тенденции? Можно ли увидеть, какие показатели подтверждают или опровергают продуктовую стратегию?
В некоторых командах вводят очередность отслеживания показателей. Каждую неделю назначается человек, который анализирует метрики и отслеживает любые непредвиденные изменения. Благодаря этому вся команда в курсе изменения показателей и существует гарантия, что проверка действительно проводится.
ИЗУЧАТЬ ДАННЫЕ
Так же как пользовательские исследования дают новые сведения о клиентах, так и изучение данных о продукте может выявить новые возможности для его развития. К использованию данных можно подходить творчески, но, чтобы это делать, нужно понимать, какие данные вообще существуют. Приведем пример.
Однажды моя команда в Google решила использовать IP-адреса пользователей, чтобы выдавать релевантные по местоположению результаты поиска на запросы типа «пиццерия». Мне казалось, что IP-адреса для этого было достаточно. Но как я могла это доказать? Мы не горели желанием сразу же проводить эксперимент – он не смог бы показать, как точно можно предсказать местоположение пользователя по IP-адресу. А множество ошибочных результатов поисковой выдачи сильно бы раздражали клиентов.
РАССМОТРИМ ТАКОЙ СЦЕНАРИЙ
Представьте, что вы работаете в Google. Как вы докажете, что IP-адреса соответствуют местоположению людей, если вы не знаете, где именно они находятся?
Вероятно, существует много ответов на этот вопрос. Я поступила так.
Прежде всего, я предположила, что часть пользователей в какой-то момент ввела почтовый индекс (предположительно, свой) для поиска прогноза погоды или расписания сеансов кинотеатра. И я могла быть уверена, что местоположения их IP-адресов примерно соответствовали местам с указанным индексом. Пока все было хорошо.
Но IP-адреса все равно могли находиться за много миль от местоположения пользователей, даже если почтовый индекс был указан правильно. Как определить, что точнее: IP-адрес или почтовый индекс? Опять же, представьте, что вы работаете в Google и решаете эту проблему. Какие данные могут быть вам полезны?
Я подумала, что те же самые пользователи также периодически искали конкретные рестораны или магазины. Теперь вопрос заключался в следующем: когда они искали конкретные адреса, они совпадали с почтовым индексом или с IP-адресом?
Оказалось, что IP-адрес был намного точнее, чем почтовый индекс, а значит, он в принципе был довольно надежным источником информации. Теперь я была готова с уверенностью приступить к эксперименту, потому что знала, что ошибок с определением местоположения практически не будет. Эксперимент оказался успешным, и мы запустили новую функцию.
Все это стало возможным только потому, что я знала, какие данные существуют.
Проявите любопытство и изучите, какие данные доступны в вашей компании. Это могут быть дашборды Google Analytics, необработанные логи пользователей, отчеты NPS[29], журналы поиска – все, к чему у вас есть доступ. Начните с любых вопросов, пришедших вам в голову, независимо от того, связаны ли они непосредственно с вашими проектами или просто с чем-то интересным для вас. Ищите что-то необычное, затем попробуйте разобраться, что это может означать и чем было вызвано. Если вы найдете нечто интересное, обязательно поделитесь этим с другими людьми.
СФОРМИРОВАТЬ КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ УСПЕХА ВАШЕЙ КОМПАНИИ
Выбор отслеживаемых метрик не является догмой. По мере продвижения в карьере вы сможете помогать всей компании фокусироваться на самых важных показателях. Если вам кажется, что люди отслеживают не те метрики или путаются в расстановке приоритетов, это знак, что пора вмешаться и помочь.
Чтобы сформировать метрики успеха компании, понадобится кросс-функциональный корпоративный процесс, а также поддержка и участие многих коллег. Обозначьте, какие проблемы в связи с текущими показателями успеха видите вы, и попросите сотрудников разных отделов и направлений рассказать, что видят они и какие опасения у них возникают в связи с изменением метрик.
В конце этой главы мы дали некоторые рекомендации о том, как правильно выбрать нужные метрики и показатели.
Смотрите также разделы «Значимые показатели против метрик тщеславия» на с. 66 и «Пиратские метрики» на с. 67.
ОТВЕЧАТЬ ЗА ПРИБЫЛИ И УБЫТКИ
В некоторых компаниях PM-сеньор отчитывается за то, какие прибыли и убытки (P&L) показывает их структурное подразделение. Это означает, что они выходят на другой уровень ответственности, где им приходится работать не только с командой разработчиков, но и с другими группами, например отделом продаж или маркетинга. PM в данной позиции отвечает не только за создание отличного продукта, но и за то, чтобы тот приносил достаточную прибыль и не вызывал лишних затрат.
Если вы отвечаете за P&L, вам приходится вести бюджет своей команды с кем-то из отдела финансов. Бюджет содержит плановые и целевые показатели на год, обычно с разбивкой на кварталы или месяцы. В нем учитывается количество людей, которых вы собираетесь нанять на каждую позицию, затраты на рекламу и другие издержки. Также он включает в себя доход, прогнозируемый на основе дохода предыдущего периода, сезонности, численности персонала отдела продаж, маркетинговых мероприятий и запуска продуктов[30].
Может показаться, что правильный прогноз получить невозможно; но, к счастью, он и не требуется. Илай Лернер (Ely Lerner), отвечающий за P&L в Yelp, поделился своей точкой зрения:
«Скорее всего, вам никогда не удастся составить точный прогноз, поэтому мой совет таков – продумывайте все на шаг вперед, чтобы заранее видеть возможные ошибки. Так у вас будет больше времени, чтобы исправить недочеты и сообщить об изменениях другим заинтересованным участникам. Полезно подготовить консервативный финансовый план для стейкхолдеров, а перед своими командами поставить более амбициозные внутренние цели – пытаясь их выполнить, они достигнут нужных результатов».
При составлении бюджета, особенно в публичной компании, приходится давать обоснование тех или иных инвестиций. Предположим, ваша стратегия состоит в том, чтобы максимизировать прибыль, или в том, чтобы повысить вложения для увеличения доли на рынке. Любой из вариантов может сработать, но ваша задача – убедить инвесторов в том, что вы делаете правильный выбор.
Прогнозирование играет большую роль, потому что цели, которые вы ставите, и ваша способность их достичь отражаются на стоимости акций компании напрямую. Это, в свою очередь, влияет на уровень компенсаций и может даже повысить риск того, что активные инвесторы получат контроль над вашей компанией[31].
