A/B Lab
Дизайн и разбор эксперимента: сколько трафика нужно, чтобы увидеть эффект, как CUPED срезает дисперсию и почему нельзя подглядывать в тест обычным p-value.
Дизайн теста до запуска
Сколько пользователей нужно в каждой группе, чтобы увидеть эффект заданного размера с мощностью 80% и ошибкой I рода 5%.
Результат эксперимента
Один и тот же тест: наивная оценка против CUPED и последовательного p-value.
| Метод | Эффект, ₽ | Ст. ошибка | p-value |
|---|
Почему подглядывание ломает p-value
Если проверять тест каждый день обычным z-тестом, вероятность ложноположительного результата растёт с каждым взглядом. В отчёте рядом с наивным p-value стоит always-valid p-value по mSPRT: он держит ошибку I рода на всём горизонте и позволяет останавливать тест досрочно. CUPED при этом не меняет эффект, а срезает дисперсию за счёт предпериодного GMV — то есть даёт тот же ответ на меньшем трафике.