Ответ
Выбор статистического критерия зависит от типа данных и условий:
- A/B-тесты с бинарными исходами (конверсия/не конверсия) - используем z-тест для пропорций или хи-квадрат. Пример в Python:
from statsmodels.stats.proportion import proportions_ztest
converted = [120, 150] # конверсии в группах
trials = [1000, 1000] # общее число пользователей
z_score, p_value = proportions_ztest(converted, trials)-
Малые выборки (n < 30) - t-тест или точный тест Фишера.
-
Множественные группы - ANOVA или тест Краскела-Уоллиса для ненормальных распределений.
Ключевые факторы при выборе:
- Размер выборки
- Независимость наблюдений
- Распределение данных
- Однородность дисперсий
Всегда проверяем предпосылки тестов и учитываем поправки на множественные сравнения. Для нестандартных случаев можно использовать бутстреп.