Как отследить на этапе эксперимента что пользователи стали покупать более дешевые товары

«Как отследить на этапе эксперимента что пользователи стали покупать более дешевые товары» — вопрос из категории A/B тестирование, который задают на 38% собеседований Продуктовый Аналитик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Для отслеживания сдвига в сторону покупки более дешевых товаров во время A/B-теста можно использовать следующие метрики:

  1. Средний чек (Avg Order Value) — если он снижается, это может указывать на сдвиг в сторону дешевых товаров.
  2. Медианная цена товара — менее чувствительна к выбросам, чем средний чек.
  3. Распределение ценовых категорий — сравнение долей покупок в разных ценовых сегментах (например, low/mid/high).

Пример SQL-запроса для анализа:

SELECT 
    test_group,
    AVG(price) AS avg_price,
    PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY price) AS median_price,
    COUNT(CASE WHEN price < 100 THEN 1 END) * 100.0 / COUNT(*) AS pct_low_price
FROM orders
WHERE experiment_id = '123'
GROUP BY test_group;

Дополнительные проверки:

  • Убедись, что изменение не вызвано сезонностью или скидками.
  • Проверь, не изменился ли ассортимент (например, дешевые товары стали чаще показываться).