Как считаешь изменение конверсии

Изменение конверсии — ключевой метрический индикатор эффективности продукта. Оцениваю его через A/B-тесты, когортный анализ и воронки. Важно учитывать:

1. Статистическую значимость — p-value <0.05 и достаточный размер выборки.
2. Контекст изменений — сезонность, маркетинговые кампании, технические сбои.
3. Сегментацию аудитории — реакция разных групп пользователей может отличаться.

Пример SQL для анализа конверсии:

SELECT 
  variant,
  COUNT(DISTINCT user_id) as users,
  COUNT(DISTINCT CASE WHEN converted THEN user_id END) / COUNT(DISTINCT user_id) as cr
FROM experiment_data
GROUP BY 1

Всегда смотрю не только на % изменения, но и на абсолютные значения и бизнес-эффект (например, +0.5% CR при 1M пользователей — это 5K дополнительных конверсий).