Что будешь делать в течение трех недель после запуска теста

Первые 3 недели после запуска теста — критичны для мониторинга и корректировок.

1. Контроль метрик:

   • Ежедневно проверяю основные (конверсия, средний чек) и guardrail-метрики (отток, возвраты).
   • Пример SQL для мониторинга:

     SELECT 
         test_group,
         COUNT(DISTINCT user_id) as users,
         SUM(revenue) / COUNT(DISTINCT user_id) as arpu
     FROM test_results
     WHERE date BETWEEN launch_date AND launch_date + 21
     GROUP BY test_group

2. Выявление аномалий:

   • Сравниваю динамику с pre-test периодом. Если метрики выходят за доверительные интервалы (например, через t-тест), анализирую причины.

3. Корректировки:

   • При обнаружении проблем (например, резкий рост оттока в тестовой группе) — связываюсь с командой для остановки/корректировки теста.

4. Промежуточные выводы:

   • К концу 3-й недели формирую предварительные выводы о значимости эффекта. Если результат стабилен и значим, готовлю рекомендации для масштабирования.