У статистиці проблема множинних порівнянь або багаторазового тестування виникає, коли дослідник одночасно порівнює декілька груп за допомогою статистичного тесту.

Чим більше груп порівнюються між собою, тим вірогіднішими стають помилкові висновки статистичного тесту, а саме помилка першого типу^[1].

Для розв'язання цієї проблеми було розроблено кілька статистичних методів, які базуються на зниженні порогу значущості (α). Таким чином, знижуючи кількість хибно відхилених нульових гіпотез.

У 1930-х роках Карло Еміліо Бонферроні розробив один з перших методів корекції для множинних порівнянь, відомий як метод Бонферроні.^[2]

Проблема множинних порівнянь привернула підвищену увагу в 1950-х роках роботами таких статистиків, як Тьюкі та Шеффе. Протягом наступних десятиліть було розроблено багато методів для розв'язання цієї проблеми. У 1996 році в Тель-Авіві відбулася перша міжнародна конференція з методів множинного порівняння.^[3]

Під час проведення будь-якого статистичного тесту існує імовірність помилкового відкидання нульової гіпотези яка насправді є правдивою. Величина цієї імовірності (${\displaystyle \alpha }$) обирається дослідником заздалегідь, до проведення самого тесту, і визначається як рівень помилки першого роду. Найчастіше рівень альфа дорівнює 5 %. Тобто якщо дослідник проведе 100 тестів ми можемо очікувати що у 5 із них буде помилково відхилена нульова гіпотеза, за умови що вона є насправді вірною. Такі результати називаються хибно позитивними.

Тому у випадках, коли ми маємо багато груп або параметрів які ми хочемо попарно порівняти, 5 % результатів виявляться хибно позитивними. І чим більше попарних порівнянь, тим більша кількість результатів проведених тестів будуть помилковими. Тобто тест виявить значиму відмінність між двома групами коли її насправді не існує.

Неспроможність компенсувати множинні порівняння може мати серйозні наслідки в реальному світі, як показано на наведених нижче прикладах.

1. Припустимо, що ми хочемо протестувати ефективність нової методики навчання учнів письма. Перша група буде навчатися за новою методикою, а друга — контрольна група — за старою методикою. Писемність учнів обох груп можна порівняти з точки зору граматики, орфографії, змісту тощо. У міру статистичного порівняння більшої кількості параметрів, збільшується імовірність того, що дві групи значимо відрізнятимуться за якимось з атрибутів, коли насправді значимої різниці не мало б бути.
2. Припустімо, що ми розглядаємо ефективність нового медичного препарату з точки зору зменшення одного із симптомів захворювання. Перша група пацієнтів пройшла курс лікування новим препаратом, а друга, контрольна група, — старим. Як і у попередньому прикладі, ефективність обох препаратів можна порівняти багатьма параметрами. І чим більше симптомів ми порівнюватимемо, тим більш імовірно, що результати порівнянь якогось із них виявляться значимими. Тобто новий препарат виявиться кращим у порівнянні з вже існуючими препаратами з точки зору принаймні одного симптому.

В обох прикладах зі збільшенням кількості порівнянь росте імовірність того, що порівнювані групи відрізнятимуться принаймні за одним атрибутом. Росте імовірність того, що лише через велику кількість попарних порівнянь, якась пара буде статистично значимо відрізнятись. У цьому полягає суть помилки першого типу. Тому якщо інші дослідники будуть тестувати таку саму гіпотезу вони можуть і не отримати значимі результати на своїх даних. Тому такі дослідження є нереплікативними, якщо лише не була введена корекція для множинних порівнянь.

Проблема множинних порівнянь спостерігається також під час розрахунку довірчих інтервалів. Один 95 % довірчий інтервал містить справжнє істинне значення невідомого параметра в 95 % випадків. Тобто, якщо ми розрахуємо 100 довірчих інтервалів, то 5 із них не міститимуть невідомий параметр.

При порівнянні двох груп, із параметром ${\displaystyle \alpha =0.05}$, імовірність правильного прийняття вірної нульової гіпотези дорівнює (${\displaystyle 1-\alpha )=0.95}$. Порівнюючи три групи, ця імовірність дорівнює (${\displaystyle 1-\alpha }$)${\displaystyle \times }$(${\displaystyle 1-\alpha }$)${\displaystyle \times }$(${\displaystyle 1-\alpha )=0.95^{3}=0.9025}$. Відповідно, імовірність хибного відхилення нульової гіпотези (${\displaystyle \alpha }$) вже дорівнює ${\displaystyle 1-0.9025=0.098}$. Цей процес називається інфляцією альфа, тобто, збільшення імовірності неправильного відхилення нульової гіпотези яка насправді є вірною.

Таблиця нижче ілюструє як параметр альфа залежить від кількості порівнянь.

Кількість груп	Кількість попарних порівнянь	${\displaystyle \alpha }$
2	2	0.05
3	3	0.098
4	6	0.143
5	10	0.185

Найбільш консервативним методом є поправка Бонферроні згідно з якою, імовірність помилки першого типу, яка має величину ${\displaystyle \alpha }$, діляться на кількість попарних порівнянь ${\displaystyle m}$: ${\displaystyle \alpha _{\mathrm {\{new\}} }={\alpha }/m}$, що також веде до зниження сили тесту.

Наприклад, якщо ми маємо чотири групи які ми хочемо порівняти між собою, і параметр ${\displaystyle \alpha =5\%}$, то ми матимемо ${\displaystyle {\frac {4*(4-1)}{2}}={6}}$ попарних порівнянь груп одна з одною.

Таким чином, p-значення, отримане при порівнянні кожної із шести пар, порівнюватиметься із ${\displaystyle \alpha _{\mathrm {\{new\}} }={\frac {0.05}{6}}=0.0083}$ і для того, щоб відхилити нульову гіпотезу р-значення має бути меншим за 0.0083.

Дещо менш консервативну поправку дає метод Холма–Бонферроні, який забезпечує більшу силу тесту, ніж проста корекція Бонферроні. Згідно з цим методом найнижче отримане р-значення (${\displaystyle i=1}$) порівнюється із найнижчим ${\displaystyle \alpha }$ та вищі р-значення (${\displaystyle i>1}$) порівнюються із менш жорсткими критеріями:^[4] ${\displaystyle \alpha _{\mathrm {\{new\}} }={\alpha }/(m-i+1)}$.

Традиційні методи множинних порівнянь, розглянуті вище, використовуються у дисперсійному аналізі, для коригування порівнянь невеликої кількості груп. Для широкомасштабного множинного тестування, під час якого виконується більша кількість тестів, існують інші методи. Наприклад, у геноміці, використовуючи такі технології, як мікроматриці, можна виміряти рівні експресії десятків тисяч генів, а також генотипи для мільйонів генетичних маркерів. Зокрема, у сфері досліджень генетичних зв'язків існувала серйозна проблема з нереплікацією — результат був статистично значущим в одному дослідженні, але його не вдалося відтворити в наступному дослідженні. Таке невідтворення може мати багато причин, але вважається, що неврахування наслідків багаторазових порівнянь є однією з причин.^[5] Прогрес у вимірюванні та інформаційних технологіях значно полегшив збіг великих масивів даних для аналізу, що збільшує кількість гіпотез які треба тестувати. У цій ситуації можна очікувати дуже високі показники хибнопозитивних результатів якщо не корегувати результати методами для множинних порівнянь.

Існує практика, коли множинні порівняння навмисно не корегуються аби збільшити шанси отримати значимі результати дослідження — що є важливим для багатьох дослідників та їх праць. Але такі некореговані значимі результати можуть бути отримані через помилку першого типу статистичного тесту. Така проблема має назву «p-hacking».^[6][7]

Ключові поняття

• Хибнопозитивний показник
• Помилка першого і другого типу
• Інтервальна оцінка
• Post-hoc аналіз
• Дисперсійний аналіз
• Перевірка статистичних гіпотез

Загальні методи коригування альфа для множинних порівнянь

• Закрита процедура тестування
• Поправка Бонферроні
• Буль–Бонферроні
• Новий багатодіапазонний тест Дункана
• Метод Холма–Бонферроні
• Процедура гармонійного середнього р-значення
• Процедура Бенджаміна-Гоґберга

• F. Betz, T. Hothorn, P. Westfall (2010), Multiple Comparisons Using R, CRC Press
• S. Dudoit і MJ van der Laan (2008), Multiple Testing Procedures with Application to Genomics, Springer
• PH Westfall і SS Young (1993), Multiple Testing-based Resampling: Examples and Methods for p-Value Adjustment, Wiley
• P. Westfall, R. Tobias, R. Wolfinger (2011) Багаторазові порівняння та багаторазове тестування за допомогою SAS, 2-е видання, SAS Institute
• Галерея прикладів неправдоподібних кореляцій, отриманих шляхом вичерпування даних