Spotlight #43 – Statystyka i prawdopodobieństwo: rozkłady, testowanie hipotez, wnioskowanie bayesowskie i łańcuchy Markowa

Rachunek prawdopodobieństwa narodził się jako rachunek wyników hazardowych (Pascal, Fermat, Huygens, 1654–1657), a rygorystyczne podstawy aksjomatyczne nadał mu Kołmogorow w 1933 roku. Dziś jest to język wspólny dla fizyki (pomiar kwantowy, mechanika statystyczna), inżynierii (detekcja sygnałów, niezawodność), biologii (genetyka populacyjna, sekwencjonowanie), ekonomii (wycena opcji, teoria aukcji) i informatyki (algorytmy, uczenie maszynowe). Ten Spotlight podsumowuje sześć kluczowych zagadnień, z których każde ilustruje interaktywna symulacja.

1. Rozkłady prawdopodobieństwa

Rozkład prawdopodobieństwa to funkcja przypisująca prawdopodobieństwo (lub gęstość prawdopodobieństwa) każdemu możliwemu wynikowi. Dwie główne rodziny to rozkłady dyskretne (przeliczalne wyniki) i ciągłe (wyniki na przedziale).

Rozkłady dyskretne

• Dwumianowy B(n, p): liczba sukcesów w n niezależnych próbach Bernoulliego, każda z prawdopodobieństwem sukcesu p. Funkcja masy prawdopodobieństwa: P(X=k) = C(n,k) p^k(1−p)^n−k. Wartość oczekiwana np, wariancja np(1−p).
• Poissona Po(λ): granica rozkładu dwumianowego gdy n→∞, p→0 przy ustalonym λ=np. Modeluje zdarzenia rzadkie: rozpady radioaktywne na sekundę, fotony na piksel, mutacje na genom. Funkcja masy prawdopodobieństwa: P(X=k) = e^−λλ^k/k!. Wartość oczekiwana = wariancja = λ.
• Geometryczny Geo(p): liczba prób do pierwszego sukcesu. Bez pamięci: P(X>m+n | X>m) = P(X>n). Wartość oczekiwana = 1/p.

Rozkłady ciągłe

• Normalny N(μ, σ²): najważniejszy rozkład w statystyce (CTG; patrz część 2). Gęstość: f(x) = (1/σ√(2π)) exp(−(x−μ)² / 2σ²). Reguła 68–95–99,7: przedziały 1σ/2σ/3σ zawierają odpowiednio 68 %, 95 %, 99,7 % masy prawdopodobieństwa.
• Wykładniczy Exp(λ): czas oczekiwania między zdarzeniami Poissona. Bez pamięci, podobnie jak rozkład geometryczny. Gęstość: λe^−λx dla x≥0. Wartość oczekiwana = 1/λ, wariancja = 1/λ².
• Beta Beta(α,β): rozkład na [0,1]; używany jako rozkład sprzężony a priori dla proporcji i prawdopodobieństw. Elastyczny kształt: jednostajny (α=β=1), U-kształtny (α,β<1), dzwonowy (α,β>1).
• Gamma Γ(k,θ): uogólnia rozkład wykładniczy (k=1) oraz rozkład chi-kwadrat (χ²=Γ(n/2, 2)). Pojawia się w bayesowskiej sprzężoności dla parametrów rozkładu Poissona.

E[X]     = ∫ x f(x) dx          (wartość oczekiwana / pierwszy moment zwykły)
Var[X]   = E[X²] − (E[X])²      (wariancja)
Skew[X]  = E[(X−µ)³] / σ³      (skośność)
Kurt[X]  = E[(X−µ)⁴] / σ⁴ − 3  (kurtoza nadmiarowa)

MGF: M_X(t) = E[e^{tX}]
  → k-ty moment = d𝓀M_X/dt𝓀 |_{t=0}
  → Dla rozkładu normalnego: M(t) = exp(µt + ½σ²t²)
  → Jeśli X,Y niezależne: M_{X+Y}(t) = M_X(t) · M_Y(t)

2. Prawo wielkich liczb i centralne twierdzenie graniczne

Dwa fundamentalne twierdzenia o zbieżności rządzą zachowaniem średnich z próby wraz ze wzrostem liczności próby n:

• Słabe prawo wielkich liczb (Czebyszew, 1867): dla dowolnego ε>0, P(|X̅−μ|>ε) ≤ σ²/(nε²) → 0 gdy n→∞. Średnia z próby zbiega według prawdopodobieństwa do średniej populacyjnej.
• Mocne prawo wielkich liczb (Borel, 1909, Kołmogorow, 1930): X̅_n → μ prawie na pewno (z prawdopodobieństwem 1). To formalne uzasadnienie częstościowego pojmowania prawdopodobieństwa jako granicznej częstości względnej.

Centralne twierdzenie graniczne (CTG) mówi więcej: przy warunku Lindeberga (żaden pojedynczy składnik nie dominuje wariancji), znormalizowana suma √n(X̅−μ)/σ zbiega według rozkładu do N(0,1). Co zaskakujące, rozkład wyjściowy może być dyskretny, ograniczony lub silnie skośny — suma zawsze zbliża się do rozkładu Gaussa.

Niech X₁, X₂, …, X_n będą i.i.d. o wartości oczekiwanej µ, wariancji σ² < ∞.

S_n = X₁ + … + X_n

Wówczas  (S_n − nµ) / (σ√n)  → N(0,1)  według rozkładu

Równoważnie:  X̅_n = S_n/n  → N(µ, σ²/n)

Błąd standardowy średniej: SE = σ / √n
  → Podwojenie precyzji wymaga 4× więcej danych

CTG wyjaśnia, dlaczego rozkład normalny dominuje w statystyce: każda wielkość będąca sumą wielu małych, niezależnych wkładów będzie w przybliżeniu normalna, niezależnie od rozkładu leżącego u podstaw tych wkładów. Wyjaśnia to dzwonowy kształt błędów pomiarowych (Gauss, 1809), rozkład wzrostu i wyników IQ oraz fluktuacje termiczne układów makroskopowych.

3. Testowanie hipotez i wartości p

Częstościowe testowanie hipotez zadaje pytanie: „Gdyby hipoteza zerowa H₀ była prawdziwa, jak zaskakujące byłyby zaobserwowane dane?” Zaskoczenie jest kwantyfikowane przez wartość p — prawdopodobieństwo zaobserwowania statystyki testowej co najmniej tak ekstremalnej jak obserwowana, przy założeniu H₀.

Ramy Neymana–Pearsona

• H₀ (hipoteza zerowa): twierdzenie bazowe (np. lek nie ma efektu, dwie średnie są równe).
• H_a (alternatywna): to, co chcemy wykazać (np. lek obniża ciśnienie krwi).
• Statystyka testowa: funkcja danych, która odróżnia H₀ od H_a (np. wynik z, statystyka t, statystyka F).
• Wartość p: P(T ≥ t_obs | H₀). Mała wartość p oznacza, że dane są mało prawdopodobne przy H₀. To nie jest prawdopodobieństwo, że H₀ jest prawdziwa.
• α (poziom istotności): próg, przy którym odrzucamy H₀, zwykle 0,05 lub 0,01 (ustalany przed zobaczeniem danych).

                   H₀ PRAWDZIWA    H₀ FAŁSZYWA
Odrzucić H₀    Błąd I rodzaju α   Poprawnie (moc = 1−β)
Nie odrzucić     Poprawnie          Błąd II rodzaju β

Moc = P(odrzucić H₀ | H⁡ jest fałszywa) = 1 − β

Test z dla jednej próby:  z = (X̅ − µ₀) / (σ / √n)
Test t dla jednej próby:  t = (X̅ − µ₀) / (s / √n),  df = n − 1

Moc rośnie wraz z: większym n, większą wielkością efektu, większym α, mniejszym σ

Porównania wielokrotne

Przy testowaniu m niezależnych hipotez na poziomie α, prawdopodobieństwo co najmniej jednego wyniku fałszywie dodatniego wynosi 1−(1−α)^m, co dąży do 1 wraz ze wzrostem m — problem rodzinnego wskaźnika błędu (FWER). Rozwiązania obejmują:

• Poprawkę Bonferroniego: testowanie każdej hipotezy na poziomie α/m. Konserwatywna, ale ściśle kontroluje FWER.
• Procedurę Benjaminiego–Hochberga: kontroluje odsetek fałszywych odkryć (FDR = oczekiwana frakcja wyników fałszywie dodatnich wśród odrzuconych hipotez). Mniej konserwatywna; preferowana w wysokowymiarowych danych genomicznych i obrazowych.

4. Wnioskowanie bayesowskie

Wnioskowanie bayesowskie traktuje prawdopodobieństwo jako miarę stopnia przekonania, a nie długookresowej częstości. Zapewnia zasadny mechanizm aktualizacji przekonań w świetle nowych dowodów za pomocą twierdzenia Bayesa:

P(θ | dane) = P(dane | θ) × P(θ) / P(dane)

P(θ | dane)  = rozkład a posteriori parametru θ
P(dane | θ)  = wiarygodność danych przy danym θ
P(θ)         = rozkład a priori (koduje istniejącą wiedzę)
P(dane)        = wiarygodność brzegowa (stała normalizacyjna)

Rozkłady sprzężone — gdy a priori i a posteriori należą do tej samej rodziny:
  Beta(α, β) + Binomial(n, θ)  →  Beta(α+k, β+n−k)
  N(µ₀, σ₀²) + N(θ, σ²)     →  N(µ_n, σ_n²)  (a posteriori normalny)
  Gamma(α, β) + Poisson(θ)     →  Gamma(α+nλ, β+n)

Przedziały wiarygodności kontra przedziały ufności

Częstościowy 95 % przedział ufności (PU) nie oznacza, że istnieje 95 % prawdopodobieństwo, iż θ leży w przedziale dla bieżącej próby — θ jest ustalone (nie jest losowe w ramach częstościowych). Poprawna interpretacja jest taka: gdybyśmy powtórzyli eksperyment nieskończenie wiele razy i za każdym razem obliczyli przedział, 95 % z tych przedziałów zawierałoby prawdziwe θ.

Bayesowski 95 % przedział wiarygodności oznacza dokładnie to, co mówi: P(θ ∈ PW | dane) = 0,95. Jest to zazwyczaj bardziej naturalna interpretacja dla praktyków.

Łańcuchy Markowa Monte Carlo (MCMC)

Dla złożonych modeli, w których rozkładu a posteriori nie można obliczyć analitycznie, algorytmy MCMC generują próbki z rozkładu a posteriori. Algorytm Metropolisa–Hastingsa proponuje kandydata θ′ z rozkładu propozycyjnego q(θ′|θ), a następnie akceptuje go z prawdopodobieństwem min(1, [p(θ′|dane) q(θ|θ′)] / [p(θ|dane) q(θ′|θ)]). Po wielu iteracjach łańcuch zbiega do docelowego rozkładu a posteriori. Nowoczesne warianty (HMC, NUTS) wykorzystują informację o gradiencie, by proponować bardziej efektywne ruchy w wysokowymiarowych przestrzeniach parametrów.

5. Łańcuchy Markowa i rozkłady stacjonarne

Dyskretny łańcuch Markowa to ciąg zmiennych losowych X₀, X₁, … spełniający własność Markowa: P(X_n+1=j | X_n=i, X_n−1, …, X₀)  = P_ij — następny stan zależy wyłącznie od stanu bieżącego.

Macierz przejścia P: P_ij = P(X_{n+1}=j | X_n=i),  ∑_j P_ij = 1

Przejście n-krokowe:  P^n_ij = P(X_n=j | X_0=i)   (potęga macierzy)
Równanie Chapmana-Kołmogorowa: P^{m+n} = P^m · P^n

Rozkład stacjonarny π: π P = π,  ∑_i π_i = 1
  → rozwiązać (P^T − I) π^T = 0 przy warunku ∑π_i = 1

Bilans szczegółowy (dla łańcuchów odwracalnych): π_i P_ij = π_j P_ji
  → warunek wystarczający, ale nie konieczny, by π było stacjonarne

PageRank

Oryginalny algorytm PageRank Google’a (Brin i Page, 1998) modeluje losowego surfera na grafie sieci WWW. Na każdej stronie surfer podąża losowym linkiem z prawdopodobieństwem d (≈ 0,85) lub teleportuje się na losową stronę z prawdopodobieństwem 1−d. Rozkład stacjonarny tego łańcucha Markowa przypisuje wyższe prawdopodobieństwo stronom, do których prowadzą linki z innych stron o wysokim prawdopodobieństwie. Wektor rankingu to wektor własny dominujący zmodyfikowanej macierzy sąsiedztwa.

PR_i = (1 − d)/N + d · ∑_{j→i} PR_j / L_j

  d   = współczynnik tłumienia (≈ 0,85)
  N   = całkowita liczba stron
  L_j = liczba linków wychodzących ze strony j

Iterowanie do zbieżności: start od jednorodnego PR_i = 1/N
  Iteracja potęgowa aktualizuje wszystkie PR jednocześnie w każdym kroku
  Kryterium zbieżności: ||PR_{new} − PR_{old}||₁ < 10⁻⁶

6. Estymacja największej wiarygodności i propagacja błędów

Estymacja największej wiarygodności (MLE) znajduje wartość parametru θ̂, która czyni zaobserwowane dane najbardziej prawdopodobnymi w ramach założonego modelu: θ̂ = arg max θ L(θ; x) gdzie L(θ; x) = P(X=x; θ) jest funkcją wiarygodności. W praktyce maksymalizujemy log L (logarytm wiarygodności) dla stabilności numerycznej.

Funkcja punktowa:  s(θ) = d/dθ log L(θ; x)
Warunek MLE:       s(θ̂) = 0

Informacja Fishera: I(θ) = −E[d²/dθ² log L(θ)]
                           = E[s(θ)²]

Granica Craméra–Rao:  Var(θ̂) ≥ 1/I(θ) / n
  → MLE jest asymptotycznie efektywna: Var(θ̂_MLE) → 1/I(θ)/n

Propagacja błędów (metoda delta):
  Jeśli g(θ) jest funkcją gładką θ:
  Var(g(θ̂)) ≈ [g'(θ)]² · Var(θ̂)

Test zgodności chi-kwadrat:
  χ² = ∑_i (O_i − E_i)² / E_i,  df = liczba przedziałów − 1 − liczba estymowanych parametrów

MLE jest metodą z wyboru, gdy funkcja wiarygodności jest obliczalna; jest zgodna (zbiega do prawdziwej wartości gdy n→∞), asymptotycznie normalna i osiąga granicę Craméra–Rao przy spełnionych warunkach regularności. Gdy funkcja wiarygodności nie jest obliczalna, metody bayesowskie z rozkładami sprzężonymi lub wnioskowanie wariacyjne dostarczają obliczalnych alternatyw.

Statystyka jako infrastruktura epistemiczna

Od paradoksu urodzin (który zaskakuje większość ludzi, ponieważ ludzka intuicja znacznie zaniża prawdopodobieństwo kolizji) po p-hacking i kryzys replikacji (wynikające z niezrozumienia, co oznaczają wartości p), statystyka ma opinię dziedziny łatwej do nadużycia. Narzędzia zebrane w tym Spotlight — rygorystyczna teoria rozkładów, CTG, staranne testowanie hipotez, aktualizacja bayesowska i właściwa propagacja błędów — są na to antidotum.

Interaktywne symulacje pozwalają obserwować zbieżność CTG w czasie rzeczywistym przy rozkładach wyjściowych o ciężkich ogonach, badać, jak bayesowski rozkład a priori zostaje wypłukany przez wystarczającą ilość danych, oraz budować intuicję, dlaczego większa ilość danych zawsze poprawia estymacje z tempem √n. Umiejętność statystycznego myślenia jest fundamentalna dla każdej dyscypliny ilościowej; te koncepcje pojawiają się zarówno w niepewności pomiaru kwantowego, badaniach asocjacyjnych genomu, istotności wykrycia fal grawitacyjnych, jak i w granicach generalizacji głębokiego uczenia.