Как реализуется дизайн теста

Дизайн теста включает несколько ключевых этапов:

1. Определение гипотезы — чёткая формулировка, что именно проверяем (например, "Новая кнопка увеличит конверсию на 5%").
2. Выбор метрик — основная (например, CTR) и второстепенные (время на странице, отказы).
3. Расчёт размера выборки — через power analysis (стат. мощность 80%, значимость 5%). Пример на Python:

from statsmodels.stats.power import TTestIndPower
effect_size = 0.2  # минимальный detectable эффект
alpha = 0.05       # уровень значимости
power = 0.8        # стат. мощность
analysis = TTestIndPower()
sample_size = analysis.solve_power(effect_size, alpha=alpha, power=power)
print(f"Необходимый размер выборки: {round(sample_size)}")

4. Сплит-трафика — равномерное разделение (50/50) с проверкой на корректность через A/A-тест.
5. Длительность теста — минимум 1-2 бизнес-цикла (например, неделя для e-commerce).
6. Анализ результатов — проверка стат. значимости (t-test, chi-square) и практической значимости эффекта.

Важно: исключать сезонность, учитывать crossover-эффекты и следить за качеством данных.