Размер выборки и мощность теста

Четыре числа, связанные одним уравнением

Уровень значимости α - назначенный заранее риск объявить эффект там, где его нет. Обычно 0.05: один ложный прокрас на двадцать пустых тестов.

Мощность (1−β) - вероятность заметить эффект, который на самом деле есть. Обычно берут 0.8, и это стоит прочитать буквально: из десяти реально работающих фич такой тест поймает восемь, а две объявит незначимыми и похоронит. Мощность 0.8 - вовсе не «почти всегда», это довольно много промахов, с которыми согласились ради разумного размера выборки.

MDE (minimum detectable effect) - минимальный эффект, который тест обязан детектировать. n - размер выборки на группу.

// Все четыре связаны одним уравнением: зафиксируй любые три, четвёртое определится само. На практике α и мощность фиксируют как соглашение, MDE берут у бизнеса, считают n. Обратный ход тоже законен: при известном трафике посмотреть, какой минимальный эффект вообще по силам, и честно сказать, что меньший поймать нечем.

ошибка второго рода (β)

пропустить реальный эффект. Мощность и есть 1−β: чем меньше выборка, тем чаще так промахиваешься

Что раздувает выборку: на числах

Формула в сжатом виде: n ∝ σ²/MDE². Дисперсия метрики в числителе, желаемый эффект в знаменателе, и в квадрате.

Конкретика для базовой конверсии 5 процентов при α = 0.05 и мощности 0.8. Ловить относительный прирост в 20 процентов (с 5.0 до 6.0) - около 7 500 человек на группу. Прирост в 10 процентов (с 5.0 до 5.5) - около 30 000. Прирост в 5 процентов (с 5.0 до 5.25) - около 119 000.

Уменьшил MDE вдвое - выборка выросла вчетверо. Это и есть квадрат в знаменателе, и именно поэтому охота за микроэффектами упирается в трафик, которого нет. Прирост в один процент относительно на такой конверсии потребует миллионов пользователей на группу.

// Дисперсия работает так же прямолинейно: шумная метрика прожорлива. Выручка на пользователя с тяжёлым хвостом, где один крупный покупатель перевешивает тысячу обычных, требует кратно больше данных, чем бинарная конверсия. Отсюда два честных рычага - задавать MDE от практической значимости, а не «поменьше на всякий случай», и резать дисперсию.

Недомощный тест опаснее, чем кажется

Даже когда нужное n набралось за пару дней, тест держат недельными циклами - иначе в измерение попадёт только будничная аудитория, а на выходных ведут себя иначе. Плюс первые дни искажает эффект новизны, всплеск интереса к любому изменению как таковому.

Недомощный тест плох тем, что выглядит нормальным. Он выдаёт «незначимо», это читают как «эффекта нет», и закрывают работающую фичу.

Отличить одно от другого можно, и способ ровно один - смотреть доверительный интервал эффекта. Интервал от −0.1 до +0.2 процента говорит: эффекта правда нет, всё существенное исключено. Интервал от −5 до +7 процентов говорит: мы не узнали ничего, тест был слишком мал. Оба результата называются «незначимо», а выводы из них противоположные.

// Обратная сторона той же медали: тест на огромном трафике поймает статистически значимый прирост в 0.02 процента, который бизнесу не нужен. Статистическая значимость и практическая - разные вещи, и MDE как раз проводит между ними границу заранее.

Как отвечать: «Как определить нужный размер выборки для теста?»

Иду от уравнения мощности. Фиксирую α = 0.05 и мощность 0.8, беру базовое значение метрики и её дисперсию из исторических данных, а MDE обсуждаю с продактом - какой минимальный прирост вообще стоит внедрения. Дальше калькулятор даёт n на группу, деление на дневной трафик даёт срок. Если срок выходит за разумные рамки, я не занижаю MDE - это самообман, - а снижаю дисперсию через CUPED (controlled experiment using pre-experiment data), стратификацию или более чувствительную метрику. И всё равно держу тест хотя бы полный недельный цикл ради сезонности, даже если выборка набралась раньше. Порядок величин помню на пальцах: при конверсии около 5 процентов ловля относительного прироста в 10 процентов - это примерно тридцать тысяч человек на группу.

Показан весь путь: откуда берутся все четыре числа, что делать при нехватке трафика (резать дисперсию, а не подгонять MDE) и почему нельзя останавливаться сразу по набору n. Числа в конце показывают, что кандидат это считал.

На чём валят

• −Запустить тест без расчёта выборки и получить либо недомощный тест, либо впустую слитый трафик.
• −Задать MDE «сколько поймаем» вместо бизнес-порога: получится либо ловля незначимого, либо недостижимая выборка.
• −Прочитать незначимый результат недомощного теста как доказательство отсутствия эффекта.
• −Не учесть тяжёлый хвост метрики: реальная мощность окажется заметно ниже расчётной.
• −Остановить тест на второй день, потому что n набралось: потеряна недельная сезонность и не остыл эффект новизны.