Ответ
Метрики до и после релиза
Сравниваю ключевые метрики (DAU, конверсия, retention) за одинаковые периоды до и после выкатки. Например, если добавили новую кнопку, смотрю на CTR до/после.
A/B тестирование
Перед релизом запускаю A/B тест. Например, для новой onboarding-страницы:
# Пример анализа A/B теста (Python + pandas)
test_group = df[df['group'] == 'new_feature']
control_group = df[df['group'] == 'old_version']
conversion_diff = test_group['conversion'].mean() - control_group['conversion'].mean()Качественные данные
Анализирую отзывы пользователей (NPS, опросы, поддержка) и поведенческие паттерны (heatmaps, session recordings).
Бизнес-метрики
Смотрю на влияние фичи на доход (ARPU, LTV) или экономику (снижение нагрузки на поддержку).
Важно: изолирую эффект фичи от других факторов (сезонность, маркетинг). Использую когортный анализ для долгосрочного impact.
