Тестування гіпотез: p-значення, помилки та потужність

Запитання, що стоїть за кожним експериментом

Ви вимірюєте різницю – новий препарат знижує кровний тиск на 4 мм рт. ст., версія B вебсайту перетворюється на 0,8% краще, ніж версія A. Чи є це реальним, чи випадкове відбілювання могло призвести до такої величини різниці? Нульове гіпотетичне тестування (НГТ), сформульоване Яржишем Нейманом та Еґоном Пірсоном у 1930-х роках, є стандартним механізмом для відповіді на це питання. Воно лежить в основі клінічних випробувань препаратів, відкриттів у галузі фізики частинок і кожного A/B тесту, яке ви проводили – і воно надійно є частиною статистики, яку дослідники найчастіше неправильно розуміють.

Порівняння нульової та альтернативної гіпотез

Кожне тестування починається з двох суперечливих тверджень. Нульова гіпотеза H₀ є консервативним замовчуванням — зазвичай "відсутність різниці", "відсутності впливу", "новий препарат нічого не робить". Альтернативна гіпотеза H₁ – це те, що ви насправді намагаєтеся знайти докази. Потім ви обираєте рівень значущості α заздалегідь — максимальний прийнятний рівень хибних спрацьовувань, який зазвичай становить 0,05 у медицині та соціальних науках, але сужчено до 0,0000003 (відомий "5σ") в фізиці частинок, де відкликання «відкриття» є дорогим.

Статистичний t-тест

Основний тест для порівняння середніх значень – це t-тест Стьюдента. Для двох незалежних вибірок із середніми значеннями x̄₁, x̄₂, він стандартизує спостережувану різницю за допомогою її оціненого стандартного відхилення:

t = (x̄₁ − x̄₂) / SE_diff SE_diff = √(s₁²/n₁ + s₂²/n₂) // Pooled або Welch варіант // t дотримується Student’s t-розподілу з ступенями свободи df // за умовою H₀ (відсутня реальна різниця середніх значень) // p = P(|T| ≥ |t спостережуваний|) – площа в обох хвостових областях понад ±t Чим більше значення |t|, тим далі спостережуване відхилення від того, що за умовою H₀ було б типовим шумом вибірки, і тим менше відповідне p-значення. Інші загальноприйняті тести використовують такий самий принцип із різною статистикою та посилальною розподільною функцією: хі-квадрат (χ² = Σ(O−E)²/E) для категоріальних лічильників, F для порівняння середніх значень у більш ніж двох групах (ANOVA), Pearson’s r для лінійної кореляції.

t = (x̄₁ − x̄₂) / SE_diff
SE_diff = √(s₁²/n₁ + s₂²/n₂)        // pooled or Welch variant

// t follows a Student's t-distribution with df degrees of freedom
// under H₀ (no true difference in means)
// p = P(|T| ≥ |t observed|)  — area in both tails beyond ±t

Що таке p-значення — і що воно не є

Одиночне речення, яке має значення: p-значення дорівнює P(дані принаймні такі екстремальні | H₀ вірне) — це твердження про дані, враховуючи, що нульова гіпотеза вірна. Це не P(H₀ вірна | дані), що вимагало б теореми Байєса та початкової ймовірності, які ніколи не надаються в класичній рамках. Це не «ймовірність того, що результат обумовлений випадковістю». І це не розмір ефекту — p-значення говорить вам, чи відрізняється ефект від нуля, а не наскільки він великий або важливий. З n = 1 000 000 незначний, клінічно безглуздий різниця все одно може дати p < 0,001, оскільки p-значення зменшується з розміром вибірки, навіть якщо ефект залишається незмінним.

Дві способи помилитися

Кожне рішення відкинути або не відкинути H₀ може призвести до помилки в одному з двох напрямків:

H₀ вірне H₀ хибне Відкидаємо H₀ Тип I помилки (α) Правильне відхилення (властий = 1−β) Не відкидаємо H₀ Правильно (1−α) Тип II помилки (β)

// Тип I = хибний позитивний результат: "виявлено" ефект, якого насправді немає // Тип II = хибний негативний результат: пропущено реальний ефект // α і β взаємодіють при фіксованому n — посилення α підвищує β

Яка помилка є більш важливою, залежить від ставок: у скринінгу безпеки ліків пропуск побічного ефекту (Тип II) може бути набагато дорожчим за хибний сигнал; у дослідницькій фізиці переслідування кожного 2σ «блиску» (Тип I) заполонило б літературу «відкриттями», які зникають при відтворенні — що й пояснює, чому фізика використовує 5σ замість стандартного для соціальних наук значення 0.05.

              H₀ true            H₀ false
Reject H₀     Type I error (α)   Correct rejection (power = 1−β)
Fail reject   Correct (1−α)      Type II error (β)

// Type I  = false positive: "found" an effect that isn't there
// Type II = false negative: missed a real effect
// α and β trade off for fixed n — tightening α raises β

Статистична потужність та розмір вибірки

Потужність (1 − β): ймовірність правильно виявити справжній ефект заданого розміру. Вона зростає з більшим розміром вибірки n, більшим істинним ефектом δ, меншим рівнем вимірювального шуму σ та (дивна річ) з більш широким α. Звичайна практика передбачає досягнення потужності 80%. Необхідний розмір вибірки для порівняння двох груп із двома боками становить: n ≈ 2(z_α/2 + z_β)² / d² // на групу, d = δ/σ = Cohen's d // Приклад: середній ефект d = 0.5, α = 0.05, потужність = 0.80 // z_α/2 = 1.96, z_β = 0.84 // n ≈ 2 × (1.96 + 0.84)² / 0.25 ≈ 63 об’єкти на групу Дослідження з меншою кількістю об'єктів, ніж це, є недоречними: вони малоймовірно виявлять ефект взагалі, і рідкісних випадках, коли вони досягають значущості, оцінка розміру ефекту схильна до завищення — так звана "прокляття переможця", яка турбує недоречні дослідження в усіх галузях. З цієї причини обов’язковою практикою є подання розміру ефекту (Cohen's d, кореляція r, коефіцієнт шансів) разом із p-значенням.

n ≈ 2(z_α/2 + z_β)² / d²      // per group, d = δ/σ = Cohen's d

// Example: medium effect d = 0.5, α = 0.05, power = 0.80
// z_α/2 = 1.96, z_β = 0.84
// n ≈ 2 × (1.96 + 0.84)² / 0.25 ≈ 63 subjects per group

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.