Проект 03 · A/B-тесты

A/B Lab

Дизайн и разбор эксперимента: сколько трафика нужно, чтобы увидеть эффект, как CUPED срезает дисперсию и почему нельзя подглядывать в тест обычным p-value.

Дизайн MDE, power, длительность Анализ Welch, CUPED, mSPRT Стек Python, numpy, scipy, FastAPI
Эффект на пользователя
—
p-value (Welch)
—
p-value после CUPED
—
Срезано дисперсии
—

Дизайн теста до запуска

Сколько пользователей нужно в каждой группе, чтобы увидеть эффект заданного размера с мощностью 80% и ошибкой I рода 5%.

Результат эксперимента

Один и тот же тест: наивная оценка против CUPED и последовательного p-value.

МетодЭффект, ₽Ст. ошибкаp-value

Почему подглядывание ломает p-value

Если проверять тест каждый день обычным z-тестом, вероятность ложноположительного результата растёт с каждым взглядом. В отчёте рядом с наивным p-value стоит always-valid p-value по mSPRT: он держит ошибку I рода на всём горизонте и позволяет останавливать тест досрочно. CUPED при этом не меняет эффект, а срезает дисперсию за счёт предпериодного GMV — то есть даёт тот же ответ на меньшем трафике.