Ловушки метрик качества

Сравнивать можно только внутри одной процедуры

Метрики сопоставимы, когда посчитаны на одних данных и по одной процедуре разбиения. «В статье AUC (area under the curve) 0.93, а у меня 0.89» - это не сравнение: там другой датасет, другой сплит и другая предобработка. Числа просто из разных миров.

Одна цифра с одного разбиения - шум. Перемешай тот же тест другим сидом, и метрика съедет на второй знак сама по себе, без всякой смены модели: на выборке в тысячу объектов разброс между сплитами легко доходит до пары процентов.

Честное сравнение выглядит так: метрика по фолдам кросс-валидации, среднее и разброс рядом, сиды зафиксированы, предобработка внутри фолда. И правило третьего знака: если две модели различаются в третьем знаке одной метрики на одном сплите - они не различаются.

// Тот же вопрос на собесе часто звучит как «твоя модель лучше на 0.3 процента - берём её?». Правильная реакция - спросить про разброс, а не радоваться.

сплит

способ разбить данные на обучение и проверку. Случайный, по времени, по группам - и от способа метрика зависит сильнее, чем от модели

Гудхарт: метрика ломается, когда становится целью

Формулировка Чарльза Гудхарта: как только мера становится целью, она перестаёт быть хорошей мерой. Экономист говорил про денежную политику, но в ML это описывает каждый второй провал.

Механика на живом примере. Оптимизируешь CTR (click-through rate) ленты - модель довольно быстро выясняет, что лучше всего кликают заголовки-приманки. CTR растёт, все довольны, а время на контенте и возвраты падают, потому что человек открывает и разочаровывается. Метрика улучшилась, продукт ухудшился, и по дашборду этого не видно.

Лечение - guardrail-метрики рядом с целевой. Оптимизируешь CTR - следи за временем на контенте, жалобами, возвратами. Выиграть целевую и уронить guardrail считается проигрышем, а не разменом.

// Тот же механизм стоит за разрывом офлайна и онлайна: офлайн-метрика это прокси бизнес-цели, а связь прокси с целью проверяется экспериментом, а не верой в неё.

прокси-метрика

измеримая замена настоящей цели. Полезна ровно до тех пор, пока держится связь между ней и целью

Парадокс Симпсона: считаем руками

Агрегат может расти, когда каждый отдельный сегмент падает. Звучит как фокус, разбирается на числах за минуту.

Было: мобилка - 900 пользователей с конверсией 10 процентов, это 90 покупок; десктоп - 100 пользователей с конверсией 30 процентов, это 30 покупок. Итого 120 покупок на 1000 человек, общая конверсия 12 процентов.

Стало: мобилка - 100 пользователей с конверсией 9 процентов, это 9 покупок; десктоп - 900 пользователей с конверсией 28 процентов, это 252 покупки. Итого 261 покупка на 1000 человек, общая конверсия 26 процентов. Конверсия упала в обоих сегментах (10 → 9 и 30 → 28), а общая цифра выросла вдвое.

// Никакой магии: сместился микс. Доля десктопа, где конверсия втрое выше, выросла с 10 процентов до 90. Отсюда привычка - любой важный вывод проверять по ключевым срезам, а при смене микса сравнивать при зафиксированных долях сегментов.

микс

соотношение сегментов внутри выборки. Меняется само по себе от сезона, рекламы, релиза приложения - и двигает агрегат без всяких изменений в продукте

Хвосты и дрейф

Среднее прячет хвост. Латентность с медианой 80 миллисекунд и 95-м перцентилем в 3 секунды даст среднее около 200 миллисекунд - цифра, из которой никак не следует, что каждый двадцатый пользователь ждёт три секунды и уходит. Для длительностей, ошибок прогноза и справедливости по группам смотрят перцентили и срезы, среднее тут бесполезно.

И метрика не живёт сама. Модель обучена на прошлом распределении, а прод постепенно уезжает. Уехать может две разные вещи: сами данные (пришёл новый рекламный канал, и юзеры теперь другие) или связь данных с таргетом (мошенники поменяли схему, старые признаки перестали работать).

Разница практическая. Первый вид виден сразу - достаточно сравнить распределения фич с обучающими. Второй увидеть можно только тогда, когда подтянутся настоящие метки, а они часто приходят с задержкой в недели.

// Без мониторинга деградацию первым замечает бизнес, и это худший из возможных сценариев: узнаёшь о поломке от людей, которые считают деньги.

дрейф

расхождение между тем, на чём модель училась, и тем, что приходит в прод сегодня

Как отвечать: «Как поймёшь, что модель в проде деградировала?»

Не жду, пока заметит бизнес. Метки обычно приходят с задержкой, поэтому мониторю то, что доступно сразу: распределения фич и скоров против обучающих, долю пропусков, объёмы трафика. Для фич считаю PSI (population stability index) - числовую меру расхождения распределений; практическое правило простое: до 0.1 всё спокойно, 0.1-0.25 стоит посмотреть, выше 0.25 распределение уехало заметно. Как только подтягиваются свежие метки, считаю на них метрику качества - агрегат и обязательно срезы, потому что общая цифра умеет расти при провале сегмента из-за смены микса. И на всё это ставлю алерты с порогами, а не дашборд, на который никто не смотрит.

Учтена задержка меток - главная реальность прод-мониторинга, названы прокси-сигналы, срезы и операционка. Так отвечает человек, у которого модель уже ломалась в проде.

На чём валят

• −Выбирать модель по третьему знаку одной метрики на одном сплите - это шум, а не различие.
• −Оптимизировать целевую метрику без guardrail: выиграл CTR, потерял удержание.
• −Смотреть только агрегат - он умеет расти при падении каждого сегмента, если сместился микс.
• −Отчитываться средним там, где живёт хвост: медиана прекрасна, а каждый двадцатый ждёт три секунды.
• −Считать, что метрика в проде держится сама: без мониторинга о деградации сообщит бизнес.