Как должен вести себя MDE при запуске теста

MDE (Minimum Detectable Effect) — это минимальный эффект, который тест может обнаружить с заданной мощностью (обычно 80%). При запуске теста MDE помогает определить размер выборки и чувствительность эксперимента.

Ключевые моменты:

1. Выбор MDE — должен быть обоснован бизнес-целями (например, увеличение конверсии на 2% имеет смысл для продукта).
2. Влияние на выборку — чем меньше MDE, тем больше требуется наблюдений.
3. Компромисс — слишком маленький MDE увеличивает длительность теста, слишком большой — риск пропустить значимый эффект.

Пример расчета в Python:

from statsmodels.stats.power import tt_ind_solve_power

# Расчет размера выборки для MDE=5%, мощность=80%, alpha=5%
sample_size = tt_ind_solve_power(
    effect_size=0.05, 
    alpha=0.05, 
    power=0.8, 
    ratio=1.0
)
print(f"Необходимая выборка: {sample_size:.0f} на группу")