Вероятность: задачи с собеседований
Задачи на вероятность проверяют не память, а умение развернуть словесное условие в счёт. Интервьюеру интересно, начнёшь ли ты считать или начнёшь вспоминать формулу. Репертуар при этом узкий: условная вероятность, трюк с индикаторами, «хотя бы один» и пара парадоксов, которые задают уже лет тридцать.
Типовые формулировки: «тест на редкую болезнь дал плюс, какова вероятность болезни?», «сколько в среднем людей получат свою шапку?», «какова вероятность, что в группе есть совпадение дней рождения?».
// Хорошая новость: девять из десяти таких задач закрываются тремя приёмами с этих карточек.
Условная вероятность: следи за направлением
Условная вероятность P(A|B) - это «вероятность A, если известно, что B случилось». Формально P(A|B) = P(A∩B)/P(B), а по смыслу ты просто сузил мир: рассматриваешь только те случаи, где B произошло, и внутри них считаешь долю с A.
Независимость означает, что знание про B ничего не меняет: P(A∩B) = P(A)·P(B). А вот несовместность - это не независимость, а полная её противоположность. Если события не могут случиться вместе, то узнав «случилось B», ты немедленно знаешь, что A не было. Сильнее зависимости не бывает.
// Главная ловушка темы - перепутать P(A|B) и P(B|A). У неё есть имя: ошибка прокурора. Вероятность таких улик у невиновного и вероятность невиновности при таких уликах это разные числа, иногда отличающиеся в разы. Разворачивает направление формула Байеса.
- P(A∩B)
- вероятность, что случились оба события сразу
- независимость
- P(A∩B) = P(A)·P(B): знание про B не меняет шансов A
Трюк с индикаторами, который решает половину задач
Матожидание - это среднее значение величины, взвешенное по вероятностям: сколько получится в среднем, если повторить опыт много раз. У него есть свойство, которое выглядит скучно и стоит дороже всего остального: E[X+Y] = E[X]+E[Y] работает всегда, даже когда X и Y связаны друг с другом.
На этом стоит главный трюк собеса. Если надо посчитать среднее число каких-то событий, посчитай вероятность каждого по отдельности и сложи. Классика: n человек перемешали свои шапки и разобрали наугад, сколько в среднем получат свою? Каждый конкретный человек получает свою с вероятностью 1/n, людей n, значит в среднем n × (1/n) = 1. Один человек, независимо от размера компании. Никакой комбинаторики.
// С дисперсией - мерой разброса вокруг среднего - так вольно нельзя: дисперсия суммы равна сумме дисперсий только для независимых величин, иначе вылезает ковариация.
- дисперсия
- насколько сильно значения разбросаны вокруг среднего
- ковариация
- мера того, как две величины отклоняются совместно; ноль ещё не означает независимость
Закон больших чисел, ЦПТ и дежурные парадоксы
Закон больших чисел говорит очевидное: чем больше выборка, тем ближе её среднее к настоящему матожиданию. Центральная предельная теорема (ЦПТ) говорит вещь куда более сильную и куда менее очевидную: сумма или среднее многих независимых величин распределены примерно нормально - и неважно, как были распределены сами величины. Именно на этом стоят все доверительные интервалы и тесты.
Задачи со словами «хотя бы один» почти всегда решаются через дополнение: P(хотя бы один) = 1 − P(ни одного). Прямой счёт тут длиннее в разы.
// Парадокс дней рождения: чтобы шанс совпадения перевалил за половину, хватает 23 человек. Интуиция сравнивает тебя с каждым и получает мало, а считать надо пары - их при 23 людях уже 253, и растёт это число квадратично.
- ЦПТ
- среднее многих независимых величин распределено почти нормально, какими бы они сами ни были
Как отвечать: «Болезнь у 1% людей, тест верен в 99% случаев. Тест положительный - какова вероятность болезни?»
Около пятидесяти процентов, а не девяноста девяти. Считаю на десяти тысячах человек. Больных сто, тест поймает девяносто девять из них. Здоровых девять тысяч девятьсот, и на одном проценте из них тест ошибётся - это ещё примерно девяносто девять ложных плюсов. Итого положительных около ста девяноста восьми, и настоящих больных среди них половина. Чем реже болезнь, тем сильнее ложные срабатывания забивают истинные: если бы тест оправдывал здорового только в девяноста пяти процентах случаев, ответ упал бы примерно до семнадцати процентов. По сути это ошибка прокурора: вероятность плюса у больного и вероятность болезни при плюсе - разные вещи.
Счёт на круглых числах вместо подстановки в формулу показывает, что Байес у тебя в руках, а не в конспекте. Плюс названа сама ошибка и показано, как ответ зависит от редкости болезни.
На чём валят
- −Путать P(A|B) и P(B|A) - ошибка прокурора; вся задача про редкую болезнь построена ровно на ней.
- −Называть несовместные события независимыми. Несовместность это максимальная зависимость, а не её отсутствие.
- −Складывать дисперсии зависимых величин, забыв про ковариацию.
- −«После пяти орлов решка вероятнее» - ошибка игрока: у монеты нет памяти, каждый бросок начинается с чистого листа.
Проверьте себя
Пять вопросов из банка по этой подтеме. Всего их 17, остальные разбираются в тренажёре.
- Подбрасываем честную монету, пока не выпадет орёл. Каково математическое ожидание числа бросков?A)2B)1.5C)1D)E ≈ 2.72
показать ответ и разбор
+A)2// разбор: Число бросков до первого успеха — геометрическое распределение с p = 0.5, его ожидание 1/p = 2. Быстрый способ через рекурсию: E = 1 + 0.5·0 + 0.5·E ⇒ E = 2. Такие мини-задачи на матожидание — разминка в квант- и DS-собесах.
- Корреляция Пирсона между X и Y равна 0. Что из этого следует?A)Отсюда строго следует полная статистическая независимость случайных X и YB)У X и Y обязательно различаются их распределения вероятностейC)Причинно-следственная связь между ними отсутствуетD)Линейной связи нет, но нелинейная возможна (например, Y=X²)
показать ответ и разбор
+D)Линейной связи нет, но нелинейная возможна (например, Y=X²)// разбор: Пирсон ловит только линейную составляющую: для Y = X² при симметричном X корреляция ноль при функциональной зависимости. Независимость ⇒ нулевая корреляция, но не наоборот (исключение — совместно нормальные величины). Для монотонных связей смотрят Спирмена, для произвольных — взаимную информацию или distance correlation.
- Что показывает коэффициент корреляции между двумя величинами?A)Что одна из этих двух величин является прямой причиной изменения другойB)Силу и направление линейной связи двух величин, от −1 до +1C)Абсолютную разницу средних значений двух сравниваемых величинD)Долю пропущенных значений в одной из двух переменных
показать ответ и разбор
+B)Силу и направление линейной связи двух величин, от −1 до +1// разбор: Корреляция Пирсона измеряет силу и знак линейной зависимости: +1 — идеальная прямая связь, −1 — обратная, 0 — линейной связи нет. Ключевая оговорка: корреляция не доказывает причинность — связь может объясняться третьим фактором (конфаундером) или быть случайной.
- Болезнь встречается у 1 из 10 000, тест верен в 99% случаев. Пришёл положительный результат. Вероятность болезни близка к?A)Примерно 99 процентов, ведь тест верен именно в девяноста девяти процентах всех случаев его применения к пациентамB)Около 1%: при очень редкой болезни ложные срабатывания забивают истинные — решает базовая ставка (правило Байеса)C)Ровно 50 процентов, потому что итог сводится к простому выбору между двумя равновероятными исходами — болен или же здоровD)Почти 100 процентов, поскольку положительный результат теста подтверждает наличие болезни у человека
показать ответ и разбор
+B)Около 1%: при очень редкой болезни ложные срабатывания забивают истинные — решает базовая ставка (правило Байеса)// разбор: Base rate fallacy. На 10 000 человек болен ≈1, тест поймает его; но 1% ложных срабатываний на ≈9999 здоровых — это ≈100 ложноположительных. Среди всех положительных истинный лишь ≈1 из ≈101, то есть P(болен|плюс) ≈ 1%. При редком событии даже точный тест даёт в основном ложные тревоги — низкая базовая ставка перевешивает высокую точность.
- События A и B независимы. Что это означает формально?A)P(A и B) = P(A)·P(B), и P(A|B) = P(A): знание о наступлении B не меняет вероятность AB)A и B не могут произойти одновременно: если случилось одно, второе исключеноC)P(A и B) = P(A) + P(B): вероятности двух независимых событий складываются при вычислении их совместного наступленияD)Независимость означает, что события A и B имеют равные вероятности P(A) = P(B)
показать ответ и разбор
+A)P(A и B) = P(A)·P(B), и P(A|B) = P(A): знание о наступлении B не меняет вероятность A// разбор: Независимость: наступление B не меняет вероятность A, формально P(A|B) = P(A), что эквивалентно P(A∩B) = P(A)·P(B). Это НЕ то же, что несовместность (взаимоисключение): несовместные события как раз СИЛЬНО зависимы (если одно случилось, второе невозможно, P(A|B)=0). Складывание вероятностей — правило для несовместных событий в объединении, а равенство P(A)=P(B) к независимости отношения не имеет.
дальше
Теорию прочитали. Навык ставится повторением
В Сеньорчике эта подтема идёт в ежедневных сессиях: движок возвращает её, пока ответы не станут уверенными, и ведёт прогресс отдельно по каждой подтеме. Теория внутри тоже бесплатна, лимит только на количество вопросов в день.