Что проверяют статистические тесты?

«Что проверяют статистические тесты?» — вопрос из категории Статистика и теория вероятностей, который задают на 26% собеседований Data Scientist / ML Инженер. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Статистические тесты используются для проверки гипотез о данных. Основные проверяемые аспекты:

  • Распределение данных: например, соответствует ли оно нормальному распределению (тест Шапиро-Уилка) или однородны ли дисперсии в группах (тест Левена).
  • Различия между группами или распределениями: например, различаются ли средние значения двух групп (t-тест) или несколько групп (ANOVA), либо различаются ли сами распределения (критерий Колмогорова-Смирнова).
  • Наличие зависимостей и связей: например, корреляция (Пирсона для линейной, Спирмена для монотонной) или ассоциация между категориальными переменными (критерий хи-квадрат).

Пример проверки нормальности в Python:

from scipy.stats import shapiro

# Пример выборки данных
data = [1.2, 1.5, 2.0, 2.1, 1.8]
stat, p_value = shapiro(data)
print(f"p-value: {p_value:.3f}")
# Если p-value > 0.05 (стандартный порог), нет оснований отвергнуть гипотезу о нормальности.

Ключевые принципы:

  1. Выбор теста определяется типом данных (количественные/категориальные) и формулировкой исследовательской гипотезы.
  2. Результат интерпретируется через p-value (вероятность получить наблюдаемые или более крайние результаты при условии истинности нулевой гипотезы).
  3. Перед применением многих параметрических тестов (например, t-теста) необходимо проверить их предпосылки (нормальность, гомогенность дисперсий).