Какое решение примешь по тесту если CTR хуже, а GMV лучше

Если CTR хуже, а GMV лучше, важно понять причину изменений. Возможно, изменения в дизайне или алгоритме привели к меньшему количеству кликов, но более качественному трафику (например, фильтрация нерелевантных показов).

Действия:

1. Проверить статистическую значимость различий (t-test, chi-square).
2. Анализировать сегменты пользователей: возможно, изменения затронули только часть аудитории.
3. Оценить долгосрочный эффект: рост GMV может быть временным (например, из-за скидок).

Пример кода для проверки значимости:

from scipy.stats import ttest_ind

# Предположим, у нас есть данные до и после изменений
ctr_before = [0.05, 0.06, 0.04]
ctr_after = [0.03, 0.04, 0.02]
gmv_before = [100, 110, 90]
gmv_after = [120, 130, 110]

t_stat_ctr, p_val_ctr = ttest_ind(ctr_before, ctr_after)
t_stat_gmv, p_val_gmv = ttest_ind(gmv_before, gmv_after)

print(f"CTR p-value: {p_val_ctr:.4f}, GMV p-value: {p_val_gmv:.4f}")

Решение: Если GMV рост значим и устойчив, а падение CTR не критично для долгосрочной монетизации, можно оставить изменения. Иначе — итеративно дорабатывать.