Как измеришь успех эксперимента по созданию облегченной онлайн-доски

Успех эксперимента можно измерить через ключевые метрики, связанные с пользовательским поведением и бизнес-целями:

1. Engagement:

   • Среднее время сессии
   • Количество созданных/отредактированных досок на пользователя
   • Retention (DAU/WAU/MAU)

2. Производительность:

   • Время загрузки страницы (должно снизиться)
   • Количество ошибок/крашей (должно уменьшиться)

3. Бизнес-метрики:

   • Конверсия в платящих пользователей (если есть монетизация)
   • Viral coefficient (сколько новых пользователей пришло по рефералам)

Пример A/B-теста:

# Проверка статистической значимости разницы в retention
from scipy import stats

# Данные контрольной (old) и тестовой (new) групп
old_retention = [0.45, 0.42, 0.38]  # День 1, 7, 30
new_retention = [0.51, 0.47, 0.43]

# T-test для 7-го дня
t_stat, p_val = stats.ttest_ind_from_stats(
    mean1=0.42, std1=0.05, nobs1=1000,
    mean2=0.47, std2=0.05, nobs2=1000
)
print(f"p-value: {p_val:.4f}")  # Должно быть < 0.05