Какие будут сроки A/B теста для сегмента покупающий товар каждую неделю

Для сегмента покупателей, совершающих покупки каждую неделю, оптимальный срок A/B-теста — 2-4 недели.

Почему:

• Статистическая значимость: Недельная частота покупок позволяет быстрее набрать достаточный объем данных.
• Учет цикличности: 2-4 недели охватывают возможные колебания спроса (выходные, зарплатные дни).
• Минимизация внешних факторов: Короткий срок снижает влияние сезонности или маркетинговых активностей.

Пример расчета:
Если конверсия в покупку ~10%, а ожидаемый эффект +1%, то при 10 000 пользователей в группе значимость достигается за ~2 недели.

# Пример оценки длительности (упрощенно)
import statsmodels.api as sm

baseline_conversion = 0.1
effect_size = 0.01
power = 0.8
alpha = 0.05

sample_size = sm.stats.tt_ind_solve_power(
    effect_size=effect_size / baseline_conversion,
    alpha=alpha,
    power=power,
    ratio=1
)
print(f"Необходимый размер группы: ~{int(sample_size)} пользователей")

Итог: Для частых покупателей тест можно закрывать быстрее, но важно убедиться, что данные стабильны.