Testowanie Hipotez: Wartości P, Błędy i Moc

Podstawą każdego eksperymentu jest pytanie

Mierzymy różnicę – nowy lek obniża ciśnienie krwi o 4 mmHg, a wersja B strony internetowej konwertuje o 0,8% lepiej niż wersja A. Czy to realne, czy też losowy szum próbkowania mógł wytworzyć tak dużą różnicę? Testowanie hipotez zerowych (THZ), formalizowane przez Jerzego Neymana i Egona Pearsona w latach 30. XX wieku, jest standardowym narzędziem do odpowiadania na to pytanie. Stanowi ono podstawę badań klinicznych leków, odkryć w fizyce cząstek oraz każdego testu A/B, którego kiedykolwiek przeprowadziłeś – a jednocześnie jest to element statystyki, który badacze najczęściej popełniają błędy.

Hipoteza zerowa vs hipoteza alternatywna

Każde testowanie rozpoczyna się od dwóch konkurujących założeń. Hipoteza zerowa H₀ jest konserwatywnym domyślnym założeniem – zwykle "brak różnicy", "brak efektu", "nowy lek nie działa". Hipoteza alternatywna H₁ to to, czego faktycznie próbujesz udowodnić. Następnie wybierasz poziom istotności α z góry – maksymalny dopuszczalny stopień fałszywych alarmów, konwencjonalnie 0,05 w medycynie i naukach społecznych, ale ograniczony do 0,0000003 (znany jako "5σ") w fizyce cząstek, gdzie fałszywe „odkrycie” jest kosztowne do wycofania.

Statystyka testu t

Podstawowym testem do porównywania średnich jest test t Stuarda. W przypadku dwóch niezależnych próbek o średnich x̄₁, x̄₂, standardyzuje się obserwowaną różnicę przez jej szacowany błąd standardowy:

t = (x̄₁ − x̄₂) / SE_diff SE_diff = √(s₁²/n₁ + s₂²/n₂) // wersja zbiorcza lub Welch // t ma rozkład Stuarda przy stopniach swobody df // pod hipotezą zerową (brak prawdziwej różnicy w średnich) // p = P(|T| ≥ |t obserwowane|) — pole powierzchni w obu ogonach poza ±t Im większa wartość |t|, tym dalej obserwowana różnica znajduje się od tego, co typowo generuje szum próbkowania pod hipotezą zerową — i tym mniejsza otrzymywana wartość p. Inne popularne testy działają na podobnej zasadzie, ale z innym statystyką i rozkładem referencyjnym: chi-kwadrat (χ² = Σ(O−E)²/E) dla liczb kategorycznych, F do porównywania średnich więcej niż dwóch grup (ANOVA), r Pearsona do liniowej zależności.

t = (x̄₁ − x̄₂) / SE_diff
SE_diff = √(s₁²/n₁ + s₂²/n₂)        // pooled or Welch variant

// t follows a Student's t-distribution with df degrees of freedom
// under H₀ (no true difference in means)
// p = P(|T| ≥ |t observed|)  — area in both tails beyond ±t

Jak interpretować wartość p

Jedno zdanie, które ma znaczenie: wartość p to P(dane przynajmniej tak ekstremalne | H₀ jest prawdziwe) — to stwierdzenie o danych, warunkowane na tym, że hipoteza zerowa jest prawdziwa. Nie jest to P(H₀ jest prawdziwe | dane), co wymagałoby twierdzenia Bayesa i wcześniejszej prawdopodobieństwa – klasyczny framework nigdy go nie dostarcza. Nie jest to "prawdopodobieństwo, że wynik jest spowodowany przypadkiem." I nie jest to wielkość efektu — wartość p mówi nam, czy efekt jest odróżnialny od zera, a nie jak duży lub ważny on jest. Przy n = 1 000 000 trivialne, klinicznie bezsensowne różnice nadal będą dawały p < 0.001, ponieważ wartość p maleje wraz ze wzrostem próby, nawet jeśli efekt pozostaje ten sam.

Dwa sposoby na popełnienie błędu

Każde decyzje odrzucenia lub nieodrzucenia hipotezy zerowej (H₀) może pójść źle w jednym z dwóch kierunków:

H₀ prawdziwa H₀ fałszywa Odrzuć H₀ Błąd I rodzaju (α) Prawidłowe odrzucenie (moc = 1−β) Wstrzymaj się od odrzucenia Prawidłowe (1−α) Błąd II rodzaju (β) // Błąd I rodzaju = fałszywie pozytywny wynik: "zaobserwowano" efekt, który nie istnieje // Błąd II rodzaju = fałszywie negatywny wynik: pominięto prawdziwy efekt // α i β handlują się ze sobą dla ustalonego n — ograniczanie α podnosi β Który błąd ma większe znaczenie zależy od stawki: w badaniach bezpieczeństwa leków pominięcie skutku ubocznego (Błąd II rodzaju) może być znacznie droższy niż fałszywy alarm; w eksploracyjnej fizyce cząstek, śledzenie każdego 2σ sygnału (Błąd I rodzaju) zalewaliby literaturę "odkryciami", które znikają po powtórzeniu — co dokładnie wyjaśnia dlaczego fizyka używa 5σ zamiast domyślnego dla nauk społecznych poziomu 0,05.

              H₀ true            H₀ false
Reject H₀     Type I error (α)   Correct rejection (power = 1−β)
Fail reject   Correct (1−α)      Type II error (β)

// Type I  = false positive: "found" an effect that isn't there
// Type II = false negative: missed a real effect
// α and β trade off for fixed n — tightening α raises β

Moc statystyczna i wielkość próby

Moc to 1 − β: prawdopodobieństwo prawidłowego wykrycia rzeczywistego efektu o danym rozmiarze. Wzrosła z większymi próbami n, większym prawdziwym efektem δ, mniejsznym szumem pomiarowym σ i (paradoksalnie) luźniejszą α. Konwencja celuje w 80% mocy. Wymagana wielkość próby dla porównania dwu grup, dwustronnego, wyprowadza się bezpośrednio z przybliżenia normalnego:

n ≈ 2(z_α/2 + z_β)² / d² // na grupę, d = δ/σ = Cohen's d // Przykład: średni efekt d = 0.5, α = 0.05, moc = 0.80 // z_α/2 = 1.96, z_β = 0.84 // n ≈ 2 × (1.96 + 0.84)² / 0.25 ≈ 63 podmioty na grupę Badania prowadzone z mniejszą liczbą niż to, są niedostatecznie potężne: mało prawdopodobne jest, że wykryją efekt w ogóle, a rzadko kiedy osiągną istotność statystyczną, tendencja do zawyżonego oszacowania wielkości efektu — tzw. "klucz zwycięzcy", który dotyka małych, niedostatecznie potężnych badań w każdym dziale. Raportowanie wielkości efektu (Cohen's d, korelacja r, iloraz szans) obok wartości p jest teraz uważane za obowiązkową dobrą praktykę z tego powodu: statystyczna istotność i znaczenie praktyczne to po prostu różne pytania.

n ≈ 2(z_α/2 + z_β)² / d²      // per group, d = δ/σ = Cohen's d

// Example: medium effect d = 0.5, α = 0.05, power = 0.80
// z_α/2 = 1.96, z_β = 0.84
// n ≈ 2 × (1.96 + 0.84)² / 0.25 ≈ 63 subjects per group

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz the simulation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.