← вся теориятеория к собесу · Продуктовая аналитика

Продуктовые метрики: как выбирать и не обманываться

Метрики продукта: что вообще мерить

Выбрать правильную метрику важнее, чем красиво её посчитать: команда будет двигать то, что измеряют. Собес проверяет, отличаешь ли ты метрику, ведущую к ценности, от красивой пустышки.

Стержень: хорошая метрика связана с ценностью для юзера, чувствительна к действиям команды и тяжело геймится. Всё остальное - vanity.

// Формулировки: «как выберешь north-star?», «что такое vanity-метрика?», «зачем метрике пара-предохранитель?».

Иерархия и признаки хорошей метрики

Метрики выстраивают в иерархию: north star (долгосрочная ценность - доставленные заказы, недельные активные читатели) → драйверы-входы (привлечение, активация, удержание, выручка) → операционные метрики команд. Верхняя объясняет, зачем нижние.

Хорошая метрика проходит три теста: связана с ценностью для пользователя, двигается от действий команды, тяжело геймится. «Число регистраций» геймится тривиально, «недельные возвраты» - куда сложнее.

// Считаемость обязательна: у метрики есть точное определение (кто в числителе и знаменателе, окно, фильтры) и владелец. «Активный пользователь» без определения - источник войн между отделами.

north star metric: одна метрика долгосрочной ценности продукта
считаемость: точное определение метрики + владелец

Фреймворки и предохранители

Фреймворки это линзы, а не догма. AARRR (привлечение, активация, удержание, реферал, выручка) удобен для бизнес-воронки; HEART от Google (happiness, engagement, adoption, retention, task success) - для оценки UX-фич.

Целевую метрику почти всегда сопровождают парой-предохранителем (guardrail): скорость поддержки + CSAT (customer satisfaction score), конверсия + средний чек. Оптимизация одной в одиночку ломает вторую - например, гонка за скоростью закрытия тикетов убивает качество.

// Метрика фичи не равна метрике продукта: использование фичи может расти, пока продукт падает (каннибализация). Вклад фичи в north star проверяют экспериментом, а не ростом её собственного счётчика.

AARRR / HEART: линзы: бизнес-воронка / UX-метрики продукта
guardrail: метрика-предохранитель при оптимизации целевой

Vanity, сегментация, история

Vanity-метрики (кумулятивные регистрации, суммарные скачивания) растут всегда - по определению не убывают. Решения по ним принять нельзя; для решений берут активность, конверсию и удержание.

Сегментация по умолчанию: платформа, канал, гео, новые против старых. Агрегат прячет проблему отдельного сегмента. Но и не дроби до шума - сегментов столько, сколько разных действий.

// Смена определения метрики без пересчёта истории рисует фиктивный скачок в дашборде. Поменял формулу - пересчитай прошлое, иначе «рост» окажется артефактом методики.

vanity-метрика: растёт всегда, решений не поддерживает
mix shift: сдвиг состава, маскирующийся под изменение метрики

Как отвечать: «Как выбрать north-star метрику продукта?»

Ищу одну метрику, которая ближе всего к долгосрочной ценности для пользователя, а не к деньгам напрямую и не к активности ради активности. Прогоняю кандидатов через три теста. Первый - связь с ценностью: когда метрика растёт, пользователю действительно лучше (для маркетплейса это скорее доставленные заказы, чем визиты). Второй - управляемость: команда может её двигать своими действиями, иначе метрика красивая, но бесполезная. Третий - устойчивость к геймингу: её нельзя накрутить, не создав реальной ценности. Дальше проверяю, что под ней выстраиваются драйверы-входы вроде активации и удержания, и обязательно добавляю guardrail, чтобы гонка за north star не сломала качество или маржу. И фиксирую точное определение с владельцем.

Почему это сильный ответ: три конкретных теста (ценность, управляемость, анти-гейминг), связь с драйверами и guardrail'ом, и требование строгого определения - видно системное мышление, а не заученный термин.

На чём валят

−Выбрать north star, который команда не может двигать - красиво и бесполезно.
−Оптимизировать метрику фичи, каннибализируя продукт - проверяй вклад экспериментом.
−Кумулятивные графики в отчётах - «рост», даже когда всё падает.
−Одна метрика без пары-предохранителя: скорость закрытия тикетов убила качество.
−Смена определения метрики без пересчёта истории - фиктивный скачок в дашборде.

Проверьте себя

Пять вопросов из банка по этой подтеме. Всего их 17, остальные разбираются в тренажёре.

#product_metrics1 / 5
ARPU вырос, но медиана дохода на пользователя не сдвинулась. Как это читать?
A)Это ошибка в данных: ARPU и медиана обязаны двигаться синхронно
B)Продукт якобы стал равномерно зарабатывать заметно больше со всех без исключения юзеров
C)Это значит, что общая выручка продукта на самом деле упала за период
D)Рост тянет хвост крупных плательщиков — типичный юзер не изменился
показать ответ и разбор
+D)Рост тянет хвост крупных плательщиков — типичный юзер не изменился
// разбор: Доход на пользователя почти всегда распределён с тяжёлым правым хвостом: несколько «китов» дают львиную долю. Рост среднего (ARPU) при неподвижной медиане значит, что тяжелее стал хвост, а типичный пользователь платит столько же. Поэтому по деньгам смотрят и перцентили, не только среднее.
#product_metrics2 / 5
Почему «выручка» — плохой выбор для North Star Metric?
A)Это запаздывающий итог; NSM должна рано ловить ценность для пользователя
B)Совокупную выручку продукта сложно корректно измерить в аналитике
C)Выручка идеальна как NSM и используется всеми продуктами мира по умолчанию
D)Потому что выручка меняется из-за колебаний курса валют
показать ответ и разбор
+A)Это запаздывающий итог; NSM должна рано ловить ценность для пользователя
// разбор: North Star Metric должна вести команду к ранней доставленной пользователю ценности, которая потом конвертируется в деньги. Выручка — lagging-метрика: она итог многих действий и реагирует поздно. Хорошая NSM опережающая, отражает пользу (доставленные заказы, время в ценном действии) и слабо геймится.
#product_metrics3 / 5
Почему опасно жёстко оптимизировать команду под одну-единственную метрику?
A)Одна метрика даёт самую полную и объективную картину всего продукта
B)Оптимизация одной метрики технически не выходит в аналитических системах
C)Единая метрика защищает продукт от злоупотреблений
D)Закон Гудхарта: метрика-цель перестаёт мерить то, что нужно — её геймят
показать ответ и разбор
+D)Закон Гудхарта: метрика-цель перестаёт мерить то, что нужно — её геймят
// разбор: Закон Гудхарта: когда метрика становится целью, она перестаёт быть хорошей мерой. Команда начинает растить именно её, каннибализируя то, что метрика должна была отражать (агрессивные пуши поднимают DAU и отписки разом). Защита — набор метрик и guardrails, а не одна цифра любой ценой.
#product_metrics4 / 5
Чем измерение вовлечённости по частоте активности богаче простого счётчика DAU?
A)Показатель DAU и общая вовлечённость — это одно и то же число
B)Частота (сколько дней из N активен) и глубина действий отличают ядро от случайных заходов
C)Вовлечённость измеряется суммарной выручкой на пользователя за месяц
D)Вовлечённость — это число установок приложения за отчётный период
показать ответ и разбор
+B)Частота (сколько дней из N активен) и глубина действий отличают ядро от случайных заходов
// разбор: DAU считает головы, но не отличает того, кто зашёл раз, от того, кто пользуется каждый день. Метрики частоты (L7/L28 — сколько дней из окна юзер активен) и глубины (ключевые действия на пользователя) показывают ядро продукта и предсказывают удержание куда лучше сырого DAU.
#product_metrics5 / 5
Что такое vanity-метрика?
A)Метрика, которую трудно посчитать на продуктовых данных
B)Метрика, которая точно предсказывает будущую выручку всего продукта
C)Красиво растущая цифра, которая не ведёт к решениям (например, всего установок)
D)Метрика, доступная топ-менеджменту и скрытая от рядовых аналитиков
показать ответ и разбор
+C)Красиво растущая цифра, которая не ведёт к решениям (например, всего установок)
// разбор: Vanity-метрика хорошо выглядит на слайде, но не меняет решений: суммарные установки, всего регистраций, лайки — почти всегда растут и не отвечают на вопрос «что делать». Actionable-метрика привязана к действию и решению (конверсия в активацию, retention когорты). Тест простой: если метрика выросла, а что делать — непонятно, это vanity.

дальше

Теорию прочитали. Навык ставится повторением

В Сеньорчике эта подтема идёт в ежедневных сессиях: движок возвращает её, пока ответы не станут уверенными, и ведёт прогресс отдельно по каждой подтеме. Теория внутри тоже бесплатна, лимит только на количество вопросов в день.

Открыть тренажёр Вся тема: Продуктовая аналитика