Что будешь делать если метрика конверсии в продажу на A/B тесте выросла больше чем планировалось

Проверю корректность данных: нет ли технических ошибок в сборе (например, дубли событий, некорректное разделение трафика). Убежусь, что выборки статистически значимы и распределены равномерно.

Если данные чистые — проанализирую поведенческие метрики (время на странице, глубину просмотра) и качество трафика. Например, резкий рост может быть из-за сегмента с низким объемом или внешних факторов (промоактивность).

Пример проверки значимости в Python:

from scipy import stats
import numpy as np

# Данные контрольной (A) и тестовой (B) групп
conversion_A = np.array([0, 1, 0, 1, 0])  # 40% конверсия
conversion_B = np.array([1, 1, 1, 1, 0])   # 80% конверсия

t_stat, p_value = stats.ttest_ind(conversion_A, conversion_B)
print(f"p-value: {p_value:.3f}")  # Если p-value < 0.05 — разница значима

Приму решение: если рост обоснован — масштабирую изменения, иначе — запущу повторный тест с увеличенной выборкой.