Что такое уровень значимости в статистике?

«Что такое уровень значимости в статистике?» — вопрос из категории Статистика и теория вероятностей, который задают на 26% собеседований Data Scientist / ML Инженер. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Уровень значимости (α) — это вероятность совершить ошибку первого рода, то есть отвергнуть нулевую гипотезу, когда она на самом деле верна. Это пороговое значение, задаваемое исследователем до проведения эксперимента.

  • Типичные значения: 0.05 (5%) или 0.01 (1%).
  • Интерпретация: α = 0.05 означает, что мы готовы с вероятностью 5% ошибочно заявить о наличии эффекта, когда его нет.
  • Связь с p-value: Если рассчитанное p-value меньше α, нулевая гипотеза отвергается.

Пример на Python (A/B-тест):

import scipy.stats as stats

# Данные двух групп
group_a = [25, 30, 28, 35, 40]
group_b = [20, 22, 25, 28, 30]

# Проводим t-тест
t_stat, p_value = stats.ttest_ind(group_a, group_b)
alpha = 0.05

print(f"p-value = {p_value:.4f}")
print(f"Уровень значимости (alpha) = {alpha}")

if p_value < alpha:
    print("Отвергаем H₀: различие между группами статистически значимо.")
else:
    print("Не отвергаем H₀: статистически значимого различия не обнаружено.")

Выбор α зависит от области: в медицине или авиации требуют более строгих значений (0.01, 0.001) из-за высоких рисков, в маркетинге часто используют 0.05.