Как оценишь эффективность рекламной кампании без A/B теста

«Как оценишь эффективность рекламной кампании без A/B теста» — вопрос из категории Атрибуция и воронки, который задают на 38% собеседований Продуктовый Аналитик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Для оценки эффективности рекламной кампании без A/B теста можно использовать:

  1. Pre-post анализ — сравнение метрик до и после запуска кампании (например, конверсии, средний чек). Учитывайте сезонность и внешние факторы.

  2. Когортный анализ — сравнение поведения пользователей, увидевших рекламу, с контрольной группой (например, по гео или демографии).

  3. Метод разницы разниц (Diff-in-Diff) — сравниваем изменения метрик в тестовой и контрольной группе до/после кампании.

Пример SQL для pre-post анализа:

SELECT 
    AVG(CASE WHEN date < '2023-01-01' THEN revenue ELSE NULL END) AS avg_revenue_before,
    AVG(CASE WHEN date >= '2023-01-01' THEN revenue ELSE NULL END) AS avg_revenue_after
FROM orders