KPI и их искажения
Поддержке поставили премию за число закрытых обращений. Было 800 закрытий в месяц, стало 1400 - рост на 75 процентов, руководитель доволен. Через квартал смотрят на долю повторных обращений: была 12 процентов, стала 35. Из 1400 закрытий 490 вернутся тем же вопросом. Работы стало больше, клиентам хуже, показатель отличный.
Стержень: показатель связан с целью и решением, опережающие важнее запаздывающих, а любой показатель искажается, как только становится целью.
// Формулировки: «поддержке ставим число закрытых обращений», «что такое закон Гудхарта?», «показатель вырос вдвое»
Закон Гудхарта на практике
Пока показатель наблюдают, он честно отражает положение дел. Как только по нему премируют, поведение подстраивается под способ измерения, и связь с целью рвётся. Это и есть закон Гудхарта: мера, ставшая целью, перестаёт быть мерой.
Способы поднять цифру всегда дешевле, чем сделать работу. Формальный ответ вместо решения. Закрытие с формулировкой «клиент не отвечает». Дробление одного обращения на три - и один и тот же разбор даёт втрое больше закрытий без единой решённой проблемы.
// Люди при этом не жулики. Им поставили правило, они его исполняют самым коротким путём - ровно то, чего и добивается любая система стимулов.
- закон Гудхарта
- когда показатель становится целью, он перестаёт быть хорошим показателем
Лечится парой, а не заменой
Один показатель на подразделение - это гарантированный перекос, каким бы удачным он ни был. Рядом ставят ограничитель, который дорожает при обходе первого.
К числу закрытий - доля повторных обращений по тому же вопросу и оценка клиента после закрытия. Теперь быстрое формальное закрытие возвращается повтором и роняет второй показатель, дробление на три обращения роняет оценку. Обходить стало дороже, чем работать.
// Пары строят везде: скорость выпуска и доля откатов, объём продаж и доля возвратов, экономия закупки и число срывов поставки. Показатель без ограничителя - это заявка на перекос, вопрос только в сроке.
Опережающие и запаздывающие
Выручка за квартал - запаздывающий показатель: он констатирует итог, вмешаться уже некуда. Число заявок в работе, средний возраст незакрытой заявки, доля просроченных согласований - опережающие: по ним проблема видна за недели до того, как превратится в выручку.
Управляют по опережающим, отчитываются по запаздывающим. Набор из одних итоговых означает, что команда узнаёт о проблемах последней и всегда постфактум.
// Подбор начинают не с доступных данных, а с вопроса: какое решение мы примем, увидев эту цифру? Если ответа нет, показатель незачем считать - он будет висеть на дашборде и создавать ощущение управления.
Откуда берутся данные
Показатель скакнул вдвое через неделю после ввода - почти всегда дело в методике, а не в людях. Поменялся фильтр, сменился источник, часть событий стала считаться дважды. Живые процессы так быстро не двигаются, поэтому первым делом проверяют расчёт, а не пишут поздравление.
Отдельная беда - данные, которые вручную вводят сами оцениваемые. Показатель постепенно превращается в отчёт о желаемом: статус проставляется заранее, время фиксируется задним числом, а расхождение с реальностью замечают через полгода.
// Надёжнее считать по следам работы - событиям систем, которые исполнитель не редактирует напрямую: время создания заявки, время первого ответа, время закрытия.
Как отвечать: «Поддержке ставят показатель числа закрытых обращений. Что будет?»
Обращения начнут закрывать быстрее и хуже, потому что люди оптимизируют то, что измеряют. Самые дешёвые способы поднять цифру - формальный ответ, закрытие с пометкой «клиент не отвечает» и дробление одного обращения на несколько. Цифра вырастет процентов на семьдесят, а доля повторных обращений поедет вслед за ней, и суммарной работы станет больше. Это классический закон Гудхарта. Я бы поставил в пару ограничитель: долю повторных обращений по тому же вопросу и оценку клиента после закрытия. Тогда быстро закрывать становится невыгодно, если проблема не решена. И проверил бы, откуда берутся данные: если статус закрытия ставит сам сотрудник, показатель будет ещё и нарисованным.
Кандидат предсказывает конкретные способы обхода, предлагает готовое лечение парой и вспоминает про источник данных.
На чём валятся
- −− Ставят один показатель на подразделение и получают перекос.
- −− Начинают подбор с доступных данных, а не с принимаемых решений.
- −− Радуются скачку после ввода, не проверив методику расчёта.
- −− Считают показатель по данным, которые вводят сами оцениваемые.
- −− Управляют по одним лишь итоговым показателям и узнают о проблемах последними.
- −− Меняют плохой показатель на другой одиночный вместо того, чтобы добавить ограничитель.
Проверьте себя
Пять вопросов из банка по этой подтеме. Всего их 13, остальные разбираются в тренажёре.
- Как формулируют закон Гудхарта применительно к показателям?A)Мера, ставшая целью, перестаёт быть меройB)Показатель считается с погрешностьюC)Показатель отстаёт от реальностиD)Показатель со временем растёт
показать ответ и разбор
+A)Мера, ставшая целью, перестаёт быть мерой// разбор: Пока показатель наблюдают, он честно отражает положение дел. Как только по нему начинают премировать, поведение подстраивается под способ измерения, и связь с исходной целью рвётся. Отсюда практика: измерять многим, премировать по немногому и регулярно проверять, не гоняется ли команда за цифрой.
- Показатель вырос вдвое сразу после ввода. Что проверить первым делом?A)Не изменился ли способ подсчётаB)Не выросла ли численность отделаC)Не сменился ли руководитель подразделенияD)Не поменялся ли поставщик данных
показать ответ и разбор
+A)Не изменился ли способ подсчёта// разбор: Резкий скачок в момент ввода почти всегда объясняется методикой: изменился фильтр, поменялся источник, часть событий стала считаться дважды. Реальные процессы так быстро не меняются. Сначала проверяют расчёт и только потом радуются улучшению.
- Почему один показатель на подразделение — рискованная схема?A)Его сложнее считать автоматическиB)Соседние аспекты работы просядутC)Сотрудники не поймут его смыслаD)Его труднее сравнить с рынком
показать ответ и разбор
+B)Соседние аспекты работы просядут// разбор: Единственная цифра создаёт однонаправленное давление: гонятся за скоростью — падает качество, за качеством — растут сроки. Поэтому показатели ставят парами, где второй ограничивает первый: срок и доля возвратов, объём продаж и маржинальность.
- Аналитику поручили придумать показатели для процесса. С чего начать?A)С перечня данных, доступных в системеB)С показателей конкурентов на рынкеC)С цели процесса и решений по немуD)С пожеланий каждого руководителя
показать ответ и разбор
+C)С цели процесса и решений по нему// разбор: Показатель существует ради решения: если по цифре никто ничего не будет делать, её незачем считать. Поэтому начинают с вопроса, какие решения принимаются по этому процессу и какая информация для них нужна. Доступность данных проверяют вторым шагом, иначе набор сведётся к тому, что легко достать.
- Показатель считается по данным, которые заполняют вручную сами исполнители. В чём риск?A)Данные будут поступать с задержкойB)Данные подстроятся под ожидаемый результатC)Данные займут много места в хранилищеD)Данные придётся выгружать вручную
показать ответ и разбор
+B)Данные подстроятся под ожидаемый результат// разбор: Когда оцениваемый сам вводит данные для оценки, показатель постепенно превращается в отчёт о желаемом: статус проставляется заранее, время фиксируется задним числом. Надёжнее считать по следам работы — событиям систем, которые исполнитель не редактирует напрямую.
дальше
Теорию прочитали. Навык ставится повторением
В Сеньорчике эта подтема идёт в ежедневных сессиях: движок возвращает её, пока ответы не станут уверенными, и ведёт прогресс отдельно по каждой подтеме. Теория внутри тоже бесплатна, лимит только на количество вопросов в день.