Вопросы на собеседовании по машинному обучению: разбор реальных ловушек

ML-собеседование редко про то, знаете ли вы модный алгоритм. Куда чаще про то, понимаете ли, где он ломается. Интервьюер даёт ситуацию с подвохом и смотрит, заметите ли вы грабли: обманчивую метрику, утечку данных, переобучение, которое красиво выглядит на валидации. Ниже разбор тем, которые спрашивают чаще всего, и того, что за ними на самом деле проверяют.

Метрики: где топят на первом же вопросе

Любимая ловушка всех ML-собесов. В задаче с 1% позитивного класса модель предсказывает всем «негатив» и получает 99% accuracy. Отличная модель? Нет, бесполезная: она не поймала ни одного нужного случая. Кто отвечает «99%, супер», тот уходит домой.

Отсюда тянется весь разговор про метрики:

Precision и recall вместо accuracy на несбалансированных данных, и что важнее в вашей задаче: не пропустить мошенника (recall) или не дёргать честных (precision).
ROC-AUC против PR-AUC. На сильном дисбалансе ROC-AUC рисует радужную картину, а PR-AUC честнее показывает, как модель работает по редкому классу.
Калибровка вероятностей. Модель может хорошо ранжировать, но выдавать «0.9» там, где на деле 0.6. Если по вероятности принимают решение (ставку, цену, риск), калибровка критична.

Переобучение и регуляризация

Второй столп. Начинают с bias-variance: почему слишком простая модель недоучивается, а слишком сложная запоминает шум вместо закономерности.

Дальше про регуляризацию, и тут любят конкретику. Чем L1 отличается от L2? L1 (Lasso) зануляет часть весов, фактически отбирая признаки, а L2 (Ridge) только уменьшает их, не обнуляя. Спросят, когда какую брать: L1 когда хотите разреженную модель и отбор фичей, L2 когда признаки все нужны, но их влияние надо придержать.

Классические модели: разбираетесь ли под капотом

Мультиколлинеарность. В логистической регрессии признаки сильно коррелируют между собой. Что плохого? Коэффициенты становятся неустойчивыми, их уже нельзя трактовать («важность» признака скачет), хотя на качество предсказания это влияет меньше. Проверяют, понимаете ли вы разницу между «модель предсказывает» и «модель интерпретируема».

Лес против бустинга. Классический вопрос на понимание ансамблей. Случайный лес строит деревья независимо и усредняет, борясь с разбросом (variance). Градиентный бустинг строит деревья последовательно, каждое исправляет ошибки предыдущего, борясь со смещением (bias). Отсюда и характер: лес прощает настройку и устойчив, бустинг сильнее, но легче переобучается и требует аккуратности с гиперпараметрами.

Утечки данных и валидация

Тема, на которой отличают практика от теоретика. Data leakage: когда в обучение случайно попадает информация из будущего или из целевой переменной, и модель показывает прекрасные метрики, которые в проде рассыпаются.

Классические источники: нормализация до разбиения на train и test, признак, который в реальности станет известен только после предсказания, утечка через время в задачах с временным рядом. Спросят, как вы строите валидацию, чтобы она честно отражала прод, и почему случайный train_test_split на временных данных врёт.

Нейросети: если позиция про DL

Когда вакансия ближе к deep learning, добавляется свой блок:

Затухающие градиенты. Почему в глубоких сетях градиент по пути назад съёживается почти до нуля, из-за чего ранние слои не учатся, и как с этим борются (ReLU, нормализации, остаточные связи).
Adam против SGD с моментумом. Чем Adam удобнее (адаптивный шаг на каждый параметр, быстрее сходится из коробки) и почему при этом финальное качество у аккуратно настроенного SGD бывает выше.
Dropout. Как он регуляризует, случайно отключая нейроны при обучении, и почему на инференсе его выключают.

Как готовиться

ML-собес проверяет не ширину списка прочитанных алгоритмов, а рефлекс замечать ловушку. Услышал «99% accuracy», сразу спросил про баланс классов. Увидел идеальную валидацию, заподозрил утечку. Этот рефлекс ставится разбором ситуаций, а не конспектами.

Ровно так собран трек Data Science в Сеньорчике: классический ML и метрики, статистика и A/B, нейросети и System Design ML идут короткими сессиями с разбором, а движок возвращает темы, где вы плывёте. Живые вопросы по секции собраны в подборке для Data Scientist, а к алгоритмической готовит разбор литкода. Начать можно бесплатно.