Может ли MDE постоянно увеличиваться

«Может ли MDE постоянно увеличиваться» — вопрос из категории Статистика и проверка гипотез, который задают на 38% собеседований Продуктовый Аналитик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Нет, MDE (Minimum Detectable Effect) не может постоянно увеличиваться. MDE — это минимальный размер эффекта, который эксперимент может обнаружить с заданной статистической мощностью (обычно 80%) и уровнем значимости (обычно 5%).

MDE зависит от:

  1. Размера выборки — чем больше выборка, тем меньше MDE.
  2. Дисперсии метрики — чем выше дисперсия, тем выше MDE.
  3. Уровня значимости и мощности.

Пример: если увеличивать выборку, MDE уменьшится, а не увеличится.

# Пример расчета MDE (упрощенный)
import statsmodels.stats.power as smp

effect_size = 0.1
alpha = 0.05
power = 0.8
sample_size = 1000

mde = smp.tt_ind_solve_power(effect_size=effect_size, alpha=alpha, power=power, nobs1=sample_size)
print(f"MDE: {mde:.4f}")

MDE может меняться в зависимости от условий эксперимента, но не имеет тенденции к постоянному росту.