Как решить проблему ложноположительного результата (ошибки первого рода) при множественном тестировании гипотез?

Для контроля над ложноположительными результатами (False Positive Rate, FPR) при одновременной проверке множества гипотез применяются поправки на множественные сравнения. Выбор метода зависит от цели: строгий контроль над вероятностью хотя бы одной ошибки (FWER) или над долей ложных отклонений (FDR).

Основные методы:

1. Поправка Бонферрони (Bonferroni)

   • Цель: Контроль Family-Wise Error Rate (FWER).
   • Принцип: Самый консервативный метод. Уровень значимости α делится на количество тестов m: α_adjusted = α / m. Корректируются p-значения: p_corrected = min(p * m, 1).
   • Когда использовать: В критических областях, где любая ложная находка недопустима (например, клинические испытания).

     from statsmodels.stats.multitest import multipletests
     pvals = [0.01, 0.04, 0.03]
     rejected, p_corrected, _, _ = multipletests(pvals, alpha=0.05, method='bonferroni')
     print(f"Скорректированные p-значения: {p_corrected}") # [0.03, 0.12, 0.09]

2. Метод Холма (Holm-Bonferroni)

   • Цель: Контроль FWER.
   • Принцип: Менее консервативная модификация Бонферрони. P-значения сортируются по возрастанию, и коррекция применяется последовательно, что увеличивает мощность.
   • Когда использовать: Когда нужен контроль FWER, но хочется сохранить больше статистической мощности, чем у Бонферрони.

3. Метод Бенджамини-Хохберга (Benjamini-Hochberg)

   • Цель: Контроль False Discovery Rate (FDR) — ожидаемой доли ложных отклонений среди всех отклоненных гипотез.
   • Принцип: Менее строгий, чем методы FWER. Позволяет допустить некоторую долю ложных срабатываний, но обнаруживает больше истинно положительных результатов.
   • Когда использовать: В разведочном анализе данных, где приемлемо некоторое количество ложных находок (например, анализ экспрессии генов, A/B-тесты множества гипотез).

     rejected, p_fdr, _, _ = multipletests(pvals, alpha=0.05, method='fdr_bh')
     print(f"FDR-скорректированные p-значения: {p_fdr}")
     print(f"Отклоненные гипотезы: {rejected}")

Практический выбор: Для строгого контроля ошибок (медицина, безопасность) — Бонферрони или Холм. Для анализа больших наборов данных с целью выявления паттернов (биоинформатика, аналитика) — FDR (Бенджамини-Хохберг).