Статистика и теория вероятностей на собеседовании: разбор ловушек

Статистику на собеседовании спрашивают не ради формул. Формулу можно загуглить, а вот понимание того, что p-value это не вероятность правоты гипотезы, гуглить поздно, когда сидишь на собесе. Проверяют, отличаете ли вы настоящий сигнал от шума и не попадаетесь ли в классические ловушки. Разберём вопросы, которые задают чаще всего.

p-value и ошибки I и II рода

Самый частый вопрос и самый частый провал. p-value это вероятность увидеть такой результат или ещё более сильный, если на самом деле разницы нет (верна нулевая гипотеза). Это не вероятность того, что гипотеза верна, и на этой подмене ловят половину кандидатов.

Рядом идут ошибки I и II рода. Ошибка I рода: увидели эффект, которого нет (ложная тревога). Ошибка II рода: пропустили эффект, который есть. Спросят, как они связаны с уровнем значимости и мощностью теста и почему нельзя бесконечно снижать одну, не раздувая другую.

Доверительные интервалы

Второй по частоте вопрос с подвохом на интерпретацию. Правильное прочтение 95%-го доверительного интервала: если повторить эксперимент много раз, то в 95% случаев построенный интервал накроет истинное значение. Неправильное (и очень популярное): «истинное значение лежит в этом интервале с вероятностью 95%». Разница тонкая, но её проверяют специально.

Теорема Байеса и ловушка базовой вероятности

Любимая задача, на которой ломается интуиция. Тест на болезнь: чувствительность 99%, специфичность 99%, болен 1 человек из 1000. У человека положительный тест. Какова вероятность, что он действительно болен?

Интуиция кричит «99%», а правильный ответ около 9%. Потому что здоровых очень много, и 1% ложноположительных от огромной здоровой группы даёт больше срабатываний, чем 99% от одного больного. Кто понимает роль базовой вероятности (prior), тот отвечает верно, остальные удивляются.

ЦПТ и распределения

• Центральная предельная теорема. Почему среднее по выборке распределено примерно нормально, даже если сами данные распределены как угодно. Основа, на которой стоят A/B-тесты.
• Среднее против медианы. Средний чек в магазине распределён скошенно, с тяжёлым правым хвостом: горстка крупных покупок тянет среднее вверх. Спросят, какую метрику брать, и хороший ответ, медиану или перцентили, потому что среднее на таких данных обманывает.

A/B-тесты

Статистика на собесе почти всегда выходит на эксперименты: зачем считать размер выборки заранее, почему нельзя подглядывать в тест и останавливать его на первом успехе, что такое novelty-эффект. Эту часть разбирает дорожная карта аналитика, где A/B рассмотрены отдельно.

Как готовиться

Статистику бесполезно заучивать: на собесе просят не определение, а рассуждение. Почему accuracy обманывает, почему интервал именно так интерпретируется, откуда берётся 9% в задаче про болезнь. Этот навык ставится разбором задач с ловушками.

В Сеньорчике статистика и теория вероятностей собраны в треках Data Science и аналитики: гипотезы, доверительные интервалы, Байес, распределения, A/B, вопросами с разбором в коротких сессиях. Живые вопросы есть в подборке для аналитика данных. Начать можно бесплатно.