Могут ли быть проблемы при конверсии в 2% с 1000 пользователей

Статистически, конверсия 2% при 1000 пользователей означает 20 конверсий. Основные проблемы:

1. Недостаточная статистическая значимость - при малых выборках (особенно <30 конверсий) погрешность высока. Например, 1 дополнительный случай может изменить метрику на 10%.

2. Сегментация данных - если разбить на подгруппы (по устройствам, странам), в некоторых сегментах может оказаться 0 конверсий, что делает анализ бессмысленным.

3. Временные колебания - недельные/сезонные изменения могут сильно искажать данные. Например, 5 конверсий в один день и 0 в другой.

# Пример расчета доверительного интервала
from statsmodels.stats.proportion import proportion_confint
conversions = 20
n = 1000
lower, upper = proportion_confint(conversions, n, alpha=0.05)
# Реальная конверсия может быть между 1.2% и 3.1%

Рекомендации:

• Увеличивать выборку (минимум 100 конверсий)
• Использовать bayesian statistics для малых выборок
• Смотреть не только на точечное значение, но и доверительные интервалы