Prawdopodobieństwo i wnioskowanie statystyczne — rozumowanie bayesowskie, centralne twierdzenie graniczne i łańcuchy Markowa

Większość nauki to wnioskowanie w warunkach niepewności. Nie możesz zaobserwować prawdziwego stanu układu — jedynie zaszumione jego pomiary. Teoria prawdopodobieństwa daje matematykę pozwalającą konsekwentnie rozumować o tym, co te pomiary implikują. Ten przewodnik przechodzi przez siedem interaktywnych symulacji, od twierdzenia Bayesa przez łańcuchy Markowa po metodę najmniejszych kwadratów — zestaw narzędzi, który powinien znać każdy naukowiec.

Prawdopodobieństwo jako przekonanie: perspektywa bayesowska

W ujęciu frekwencjonistycznym prawdopodobieństwo to graniczna częstość zdarzenia w nieskończonej liczbie prób. W ujęciu bayesowskim prawdopodobieństwo jest stopniem przekonania — miarą tego, jak bardzo jesteś pewny czegoś na podstawie dostępnych dowodów. Obie interpretacje są matematycznie spójne, ale rozumowanie bayesowskie pozwala aktualizować przekonania w miarę napływu dowodów.

Twierdzenie Bayesa to po prostu przekształcona definicja prawdopodobieństwa warunkowego. Ale to przekształcenie niesie ogromną praktyczną wagę: mówi, jak przekształcić przekonanie a priori P(H) — przed zobaczeniem danych — w przekonanie a posteriori P(H|E) po zaobserwowaniu dowodu E.

Twierdzenie Bayesa

P(H | E) = P(E | H) · P(H) / P(E)

A posteriori = Wiarygodność × A priori / Dowód

P(E) = Σ P(E | Hᵢ) · P(Hᵢ)   [prawo prawdopodobieństwa całkowitego]

Przykład testu medycznego:

Częstość choroby P(D) = 0,01 (1 na 100)

Czułość testu P(+|D) = 0,99, swoistość P(−|¬D) = 0,99

P(D|+) = 0,99×0,01 / (0,99×0,01 + 0,01×0,99) = 50%

Pozytywny wynik testu na rzadką chorobę jest wiarygodny tylko w 50%!

Zaniedbanie bazowej częstości to jeden z najczęstszych błędów rozumowania. Ludzie rutynowo ignorują P(H) przy interpretacji testów diagnostycznych, dowodów sądowych i ocen ryzyka — nadmiernie ważąc wiarygodność P(E|H) i zapominając, jak rzadka jest hipoteza. Rozumowanie bayesowskie jest antidotum: zawsze aktualizuj od a priori.

Centralne twierdzenie graniczne

Centralne twierdzenie graniczne (CTG) to prawdopodobnie najważniejszy wynik w statystyce. Głosi ono: niezależnie od kształtu rozkładu populacji, rozkład średniej próby X̄ z n niezależnych, identycznie rozłożonych zmiennych losowych zbliża się do rozkładu normalnego, gdy n → ∞, ze średnią μ i odchyleniem standardowym σ/√n.

To wyjaśnia, dlaczego rozkład normalny pojawia się wszędzie w naukach pomiarowych: zawsze mierzymy sumę (lub średnią) wielu małych, niezależnych wkładów. Natężenie światła ze źródła termicznego, czasy reakcji w psychologii, wzrost w populacji — wszystkie to sumy wielu mikroefektów, więc wszystkie w przybliżeniu podążają za rozkładami normalnymi.

Centralne twierdzenie graniczne — kluczowe wyniki

E[X̄] = μ                          (estymator nieobciążony)

Var[X̄] = σ²/n                     (wariancja maleje wraz z n)

SE[X̄] = σ/√n                     (błąd standardowy)

Wynik Z: Z = (X̄ − μ) / (σ/√n) → N(0,1)

Paradoks urodzin P(≥1 zbieżność wśród n osób):

P = 1 − 365!/((365−n)! · 365ⁿ)

P(23) ≈ 0,507   P(50) ≈ 0,970   P(70) ≈ 0,999

Łańcuchy Markowa: procesy bez pamięci

Łańcuch Markowa to sekwencja zmiennych losowych, w której prawdopodobieństwo następnego stanu zależy tylko od stanu obecnego — nie od historii. Ta własność Markowa („bezpamięciowość”) to potężne założenie modelowe: przejścia pogodowe, PageRank, stany ekspresji genów, ruina hazardzisty i systemy rekomendacji to wszystko modele Markowa.

Przy łagodnych warunkach (nierozkładalność i aperiodyczność) każdy skończony łańcuch Markowa zbiega do unikalnego rozkładu stacjonarnego π — wektora prawdopodobieństwa spełniającego π = πP, gdzie P to macierz przejścia. Tempo zbieżności jest rządzone przez drugą co do wielkości wartość własną P: |λ₂| ≪ 1 oznacza szybkie mieszanie.

Łańcuch Markowa — rozkład stacjonarny

Macierz przejścia P: P[i][j] = P(stan j | stan i)

Każdy wiersz sumuje się do 1: Σⱼ P[i][j] = 1

Warunek stacjonarności: π · P = π

Iteracja potęgowa: πₜ₊₁ = πₜ · P (zbiega do π*)

Czas mieszania: τ ∝ 1/|ln(λ₂)|   (λ₂ = druga wartość własna)

Bilans szczegółowy (odwracalność): πᵢ Pᵢⱼ = πⱼ Pⱼᵢ

Regresja liniowa: metoda najmniejszych kwadratów

Mając n punktów danych (xᵢ, yᵢ), metoda najmniejszych kwadratów (OLS) znajduje prostą y = mx + b minimalizującą sumę kwadratów reszt SSE = Σ(yᵢ − mxᵢ − b)². Rozwiązanie ma postać zamkniętą — nie jest potrzebna żadna iteracyjna optymalizacja. A ponieważ OLS jest równoważne maksymalnej wiarygodności przy szumie gaussowskim, jest to również poprawne oszacowanie bayesowskie przy płaskim rozkładzie a priori.

Współczynnik determinacji R² mierzy, ile wariancji w y jest wyjaśnione przez x: R² = 1 − SSE/SST, gdzie SST = Σ(yᵢ − ȳ)². R² = 1 oznacza idealne dopasowanie; R² = 0 oznacza, że model niczego nie wyjaśnia. Co kluczowe, R² nie może powiedzieć, czy model jest poprawny — jedynie czy pasuje. Zależność nieliniowa może dać R² ≈ 0 dla dopasowania liniowego, nawet gdy istnieje idealny związek funkcyjny.

Metoda najmniejszych kwadratów — rozwiązanie w postaci zamkniętej

Nachylenie: m = (n Σxᵢyᵢ − Σxᵢ Σyᵢ) / (n Σxᵢ² − (Σxᵢ)²)

Przecięcie: b = (Σyᵢ − m Σxᵢ) / n = ȳ − m·x̄

r Pearsona = m · σₓ / σᵧ

R² = r²           (dla prostej regresji liniowej)

SSE = Σ(yᵢ − mxᵢ − b)² (suma kwadratów reszt)

SST = Σ(yᵢ − ȳ)²        (całkowita suma kwadratów)

R² = 1 − SSE/SST

Budowanie intuicji: niespodzianki w prawdopodobieństwie

Wiele wyników rachunku prawdopodobieństwa łamie naiwną intuicję. Trzy kanoniczne przypadki:

Prawo wielkich liczb kontra centralne twierdzenie graniczne. Te dwa wyniki są często mylone. Prawo wielkich liczb mówi, że X̄ → μ, gdy n → ∞ (średnia zbiega do prawdziwej średniej). CTG mówi, że fluktuacje X̄ wokół μ zbiegają do rozkładu normalnego — ilościowo określa tempo zbieżności w prawie wielkich liczb. CTG jest głębszym wynikiem: mówi nie tylko, że zbiegasz, ale dokładnie jak szybko i w jakim kształcie.

Metody Monte Carlo: symulacja jako całkowanie

Monte Carlo odnosi się do dowolnego algorytmu wykorzystującego losowe próbkowanie do obliczenia deterministycznej wielkości. Najsłynniejszy przykład — szacowanie π — próbkuje jednostajne punkty w kwadracie jednostkowym i liczy te wewnątrz wpisanego okręgu. Ale prawdziwa moc Monte Carlo leży w całkowaniu wysokowymiarowym: podczas gdy reguły kwadraturowe rosną wykładniczo pod względem kosztu wraz z wymiarem, błąd Monte Carlo zawsze wynosi O(1/√n) niezależnie od wymiaru. Dla całek d ≥ 5 Monte Carlo jest zwykle jedyną praktyczną metodą.

Bootstrap to procedura Monte Carlo dla oceny niepewności: resampluj swój zbiór danych ze zwracaniem B razy, oblicz swoją statystykę (średnią, medianę, korelację, nachylenie regresji) na każdym resamplingu, a empiryczny rozkład tych wartości przybliża prawdziwy rozkład próby tej statystyki. Nie są potrzebne żadne założenia parametryczne.

Algorytmy i metody

Twierdzenie Bayesa A priori / Wiarygodność / A posteriori Centralne twierdzenie graniczne Błąd standardowy σ/√n Macierz przejścia Markowa Iteracja potęgowa (rozkład stacjonarny) Metoda najmniejszych kwadratów Korelacja Pearsona r Współczynnik determinacji R² Całkowanie Monte Carlo Resampling bootstrap Inicjalizacja K-Means++ Formuła paradoksu urodzin Ruina hazardzisty (Markow z pochłanianiem)