Почему GMV тестовых вырос, а общий упал

Возможные причины:

1. Канибализация - тестовая группа перетянула часть платящих пользователей из контрольной, увеличив GMV теста, но снизив общий GMV.
2. Сегментация аудитории - тест проводился на более платежеспособной группе (например, премиум-пользователи), что исказило результаты.
3. Внешние факторы - во время теста могли произойти события, повлиявшие на контрольную группу (например, технические сбои, изменения в маркетинге).
4. Неравномерное распределение - ошибки в сплит-системе привели к дисбалансу групп (например, в тесте оказалось больше активных пользователей).

Пример проверки канибализации:

SELECT 
    test_group,
    COUNT(DISTINCT user_id) AS paying_users,
    SUM(revenue) AS gmv
FROM orders
WHERE date BETWEEN '2023-01-01' AND '2023-01-07'
GROUP BY test_group