Как будешь проводить A/B тест

Для проведения A/B теста:

1. Определить цель и метрики
   Например, конверсия в покупку или средний чек. Выбираем primary и guardrail метрики.

2. Разделить трафик
   Обычно 50/50, но можно иначе (например, 90/10 для новых фич). Убедиться в рандомизации (cookie-based или user-based).

3. Рассчитать размер выборки
   Используем power analysis (например, через statsmodels):

    from statsmodels.stats.power import tt_ind_solve_power
    effect_size = 0.1  # минимальный детектируемый эффект
    power = 0.8
    alpha = 0.05
    sample_size = tt_ind_solve_power(effect_size, power, alpha)

4. Запустить тест
   Собираем данные, избегая сезонных периодов. Минимум 1-2 недели.

5. Анализ результатов
   Проверяем стат. значимость (t-test, chi-square) и практическую значимость эффекта. Смотрим на пересечение доверительных интервалов.

Важно:

• Проверить SRM (Sample Ratio Mismatch)
• Учесть novelty effect
• Анализировать сегменты (новые vs постоянные пользователи)

Пример вывода: если p-value < 0.05 и эффект > MDE, принимаем решение.