От чего зависит объем выборки для теста

«От чего зависит объем выборки для теста» — вопрос из категории A/B тестирование, который задают на 38% собеседований Продуктовый Аналитик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Объем выборки зависит от нескольких факторов:

  1. Уровень значимости (α) - вероятность ложноположительного результата (обычно 5%).
  2. Мощность теста (1-β) - вероятность обнаружить эффект, если он есть (обычно 80-90%).
  3. Размер эффекта (MDE) - минимальный detectable effect, который мы хотим зафиксировать.
  4. Дисперсия метрики - чем выше вариативность, тем больше нужно данных.

Пример расчета в Python:

from statsmodels.stats.power import tt_ind_solve_power

# Параметры: эффект=0.05, α=0.05, мощность=0.8
sample_size = tt_ind_solve_power(effect_size=0.05, alpha=0.05, power=0.8)
print(f"Необходимый размер выборки: {round(sample_size)}")