Какой сделаешь вывод при серых метриках после окончания теста

Если метрики после теста оказались серыми (различия статистически незначимы), это означает, что либо:

1. Эффект от изменения действительно отсутствует или слишком мал
2. Тест не собрал достаточное количество данных для обнаружения эффекта (низкая мощность)

Рекомендации:

• Проверить длительность теста и размер выборки (возможно, нужно продлить тест)
• Оценить минимальный детектируемый эффект (MDE) и сравнить с бизнес-значимостью
• Если эффект потенциально есть, но мал, оценить его экономическую целесообразность

# Пример проверки мощности теста
from statsmodels.stats.power import TTestIndPower

effect_size = 0.01  # Минимальный значимый эффект
alpha = 0.05        # Уровень значимости
power = 0.8         # Желаемая мощность

analysis = TTestIndPower()
sample_size = analysis.solve_power(effect_size, power=power, alpha=alpha)
print(f"Необходимый размер выборки: {sample_size:.0f}")