Ответ
Да, retention — ключевая метрика для оценки долгосрочного эффекта изменений. В A/B-тестах важно анализировать не только конверсию, но и удержание пользователей, особенно для продуктов с цикличным использованием (например, подписки, мобильные приложения).
Пример:
Если тестируем новый onboarding, смотрим:
- Retention Day 1/7/30 (сколько пользователей вернулись).
- Когортный анализ (например, сравниваем удержание тех, кто прошел старый и новый поток).
Нюансы:
- Для short-term экспериментов (скидки) retention может быть менее критичен.
- Высокий churn может нивелировать рост конверсии.
- Всегда проверяем статистическую значимость (p-value < 0.05).
# Пример расчета retention (pandas)
retention_rate = (cohort_df['day_7_active_users'] / cohort_df['day_0_users']).mean()