Как работает идея статистического вывода

«Как работает идея статистического вывода» — вопрос из категории Статистика и теория вероятностей, который задают на 33% собеседований Аналитик Данных. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Статистический вывод позволяет делать заключения о генеральной совокупности на основе данных выборки. Он основан на двух ключевых подходах:

  1. Оценивание параметров - точечные (среднее, дисперсия) и интервальные оценки (доверительные интервалы). Например, 95% ДИ для среднего:
import scipy.stats as st
data = [1, 2, 3, 4, 5]
st.t.interval(0.95, len(data)-1, loc=np.mean(data), scale=st.sem(data))
  1. Проверка гипотез - сравнение наблюдаемых данных с теоретической моделью (t-тест, ANOVA, χ²). Определяем p-value и принимаем/отклоняем H0.

Критические допущения: случайность выборки, нормальность распределения (для параметрических тестов), независимость наблюдений. При нарушении используют непараметрические аналоги (Манна-Уитни вместо t-теста).