Что такое p-value

P-value — это вероятность получить наблюдаемые или более экстремальные результаты при условии, что нулевая гипотеза верна.

Интерпретация:

• Если p-value < α (обычно 0.05), отклоняем нулевую гипотезу (есть статистическая значимость).
• Если p-value ≥ α, нет оснований отвергать нулевую гипотезу.

Пример (Python):

from scipy import stats

# A/B тест: конверсии в двух группах
group_a = [1, 0, 1, 1, 0]  # 1 = конверсия
group_b = [0, 0, 1, 0, 0]

# Тест хи-квадрат
chi2, p_value = stats.chisquare([sum(group_a), sum(group_b)],  
                                f_exp=[2.5, 2.5])  # Ожидаемое (гипотеза равенства)
print(f"p-value: {p_value:.3f}")  # Пример вывода: 0.317 (незначимо)

Осторожно: p-value ≠ вероятность истинности гипотезы! Это лишь мера согласия с данными.