На какие метрики будешь смотреть при A/B тесте для увеличения количества рассрочек

«На какие метрики будешь смотреть при A/B тесте для увеличения количества рассрочек» — вопрос из категории A/B тестирование и эксперименты, который задают на 25% собеседований Продукт Менеджер. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

При A/B тесте для увеличения рассрочек ключевые метрики можно разделить на основные и вспомогательные:

Основные:

  1. Конверсия в рассрочку — процент пользователей, оформивших рассрочку среди всех, кто увидел предложение.
    Пример: Если в варианте A конверсия 5%, а в B — 7%, B явно лучше.

  2. Средний чек рассрочки — проверяем, не снижается ли сумма покупки из-за изменения условий.

  3. Отказы после оформления — доля пользователей, которые отменили рассрочку после старта процесса.

Вспомогательные:

  • CTR на кнопке «Рассрочка» — если изменения касаются визуала или текста.
  • Глубина воронки — на каком шаге пользователи чаще отваливаются (например, после проверки кредитного рейтинга).
  • Retention — возвращаются ли пользователи за повторными покупками с рассрочкой.

Пример кода для анализа конверсии (Python):

import pandas as pd

# Данные A/B теста
data = pd.DataFrame({
    'variant': ['A', 'B'],
    'users': [1000, 1000],
    'conversions': [50, 70]
})

data['conversion_rate'] = data['conversions'] / data['users'] * 100
print(data[['variant', 'conversion_rate']])

Важно: всегда проверяем статистическую значимость (p-value < 0.05) и следим за побочными эффектами (например, не упал ли общий доход).