Prawdopodobieństwo jako przekonanie: perspektywa bayesowska
W ujęciu frekwencjonistycznym prawdopodobieństwo to graniczna częstość zdarzenia w nieskończonej liczbie prób. W ujęciu bayesowskim prawdopodobieństwo jest stopniem przekonania — miarą tego, jak bardzo jesteś pewny czegoś na podstawie dostępnych dowodów. Obie interpretacje są matematycznie spójne, ale rozumowanie bayesowskie pozwala aktualizować przekonania w miarę napływu dowodów.
Twierdzenie Bayesa to po prostu przekształcona definicja prawdopodobieństwa warunkowego. Ale to przekształcenie niesie ogromną praktyczną wagę: mówi, jak przekształcić przekonanie a priori P(H) — przed zobaczeniem danych — w przekonanie a posteriori P(H|E) po zaobserwowaniu dowodu E.
Twierdzenie Bayesa
P(H | E) = P(E | H) · P(H) / P(E)
A posteriori = Wiarygodność × A priori / Dowód
P(E) = Σ P(E | Hᵢ) · P(Hᵢ) [prawo prawdopodobieństwa całkowitego]
Przykład testu medycznego:
Częstość choroby P(D) = 0,01 (1 na 100)
Czułość testu P(+|D) = 0,99, swoistość P(−|¬D) = 0,99
P(D|+) = 0,99×0,01 / (0,99×0,01 + 0,01×0,99) = 50%
Pozytywny wynik testu na rzadką chorobę jest wiarygodny tylko w 50%!
Wnioskowanie bayesowskie
Interaktywne twierdzenie Bayesa: krzywe a priori / wiarygodności / a posteriori aktualizowane na żywo. Scenariusz testu medycznego z suwakami częstości, czułości i swoistości. Zobacz, dlaczego pozytywny wynik dla rzadkiej choroby jest często mylący.
Bootstrap (resampling)
Konstruowanie przedziałów ufności dla dowolnej statystyki poprzez resampling danych ze zwracaniem. Zobacz, jak rozkład bootstrapowy zbiega do prawdziwego rozkładu próby wraz ze wzrostem liczby resamplingów.
Zaniedbanie bazowej częstości to jeden z najczęstszych błędów rozumowania. Ludzie rutynowo ignorują P(H) przy interpretacji testów diagnostycznych, dowodów sądowych i ocen ryzyka — nadmiernie ważąc wiarygodność P(E|H) i zapominając, jak rzadka jest hipoteza. Rozumowanie bayesowskie jest antidotum: zawsze aktualizuj od a priori.
Centralne twierdzenie graniczne
Centralne twierdzenie graniczne (CTG) to prawdopodobnie najważniejszy wynik w statystyce. Głosi ono: niezależnie od kształtu rozkładu populacji, rozkład średniej próby X̄ z n niezależnych, identycznie rozłożonych zmiennych losowych zbliża się do rozkładu normalnego, gdy n → ∞, ze średnią μ i odchyleniem standardowym σ/√n.
To wyjaśnia, dlaczego rozkład normalny pojawia się wszędzie w naukach pomiarowych: zawsze mierzymy sumę (lub średnią) wielu małych, niezależnych wkładów. Natężenie światła ze źródła termicznego, czasy reakcji w psychologii, wzrost w populacji — wszystkie to sumy wielu mikroefektów, więc wszystkie w przybliżeniu podążają za rozkładami normalnymi.
Centralne twierdzenie graniczne
5 rozkładów źródłowych (jednostajny, wykładniczy, bimodalny, Poissona, prawostronnie skośny). Suwak wielkości próby n=1..200. Animowana akumulacja histogramu średniej próby z nałożonym przybliżeniem normalnym. Empiryczne μ/σ na żywo w porównaniu z teoretycznym σ/√n.
Paradoks urodzin
Dokładna krzywa P(n) + symulacja Monte Carlo (Uint8Array(365) dla szybkości). Dwa widoki: wykres prawdopodobieństwa i pierścień pokoju z 365 slotami dni. Punkt przekroczenia 50% przypada przy zaledwie 23 osobach — większość nie wierzy w to, dopóki nie zobaczy animacji.
Centralne twierdzenie graniczne — kluczowe wyniki
E[X̄] = μ (estymator nieobciążony)
Var[X̄] = σ²/n (wariancja maleje wraz z n)
SE[X̄] = σ/√n (błąd standardowy)
Wynik Z: Z = (X̄ − μ) / (σ/√n) → N(0,1)
Paradoks urodzin P(≥1 zbieżność wśród n osób):
P = 1 − 365!/((365−n)! · 365ⁿ)
P(23) ≈ 0,507 P(50) ≈ 0,970 P(70) ≈ 0,999
Łańcuchy Markowa: procesy bez pamięci
Łańcuch Markowa to sekwencja zmiennych losowych, w której prawdopodobieństwo następnego stanu zależy tylko od stanu obecnego — nie od historii. Ta własność Markowa („bezpamięciowość”) to potężne założenie modelowe: przejścia pogodowe, PageRank, stany ekspresji genów, ruina hazardzisty i systemy rekomendacji to wszystko modele Markowa.
Przy łagodnych warunkach (nierozkładalność i aperiodyczność) każdy skończony łańcuch Markowa zbiega do unikalnego rozkładu stacjonarnego π — wektora prawdopodobieństwa spełniającego π = πP, gdzie P to macierz przejścia. Tempo zbieżności jest rządzone przez drugą co do wielkości wartość własną P: |λ₂| ≪ 1 oznacza szybkie mieszanie.
Łańcuchy Markowa
Animowany diagram przejść stanów, błądzenie losowe i porównanie na żywo empirycznego i teoretycznego rozkładu stacjonarnego (iteracja potęgowa). Presety: pogoda, PageRank, ruina hazardzisty, genetyka, losowy 4-stanowy. Edytuj prawdopodobieństwa przejść na żywo.
Monte Carlo π
Klasyczne oszacowanie π metodą rzucania rzutkami: losowe punkty w kwadracie jednostkowym, liczenie tych wewnątrz ćwiartki koła. Wykres zbieżności na żywo, pasmo błędu σ i porównanie z wartością dokładną. Tryb rozszerzony: wysokoprecyzyjny z redukcją wariancji.
Łańcuch Markowa — rozkład stacjonarny
Macierz przejścia P: P[i][j] = P(stan j | stan i)
Każdy wiersz sumuje się do 1: Σⱼ P[i][j] = 1
Warunek stacjonarności: π · P = π
Iteracja potęgowa: πₜ₊₁ = πₜ · P (zbiega do π*)
Czas mieszania: τ ∝ 1/|ln(λ₂)| (λ₂ = druga wartość własna)
Bilans szczegółowy (odwracalność): πᵢ Pᵢⱼ = πⱼ Pⱼᵢ
Regresja liniowa: metoda najmniejszych kwadratów
Mając n punktów danych (xᵢ, yᵢ), metoda najmniejszych kwadratów (OLS) znajduje prostą y = mx + b minimalizującą sumę kwadratów reszt SSE = Σ(yᵢ − mxᵢ − b)². Rozwiązanie ma postać zamkniętą — nie jest potrzebna żadna iteracyjna optymalizacja. A ponieważ OLS jest równoważne maksymalnej wiarygodności przy szumie gaussowskim, jest to również poprawne oszacowanie bayesowskie przy płaskim rozkładzie a priori.
Współczynnik determinacji R² mierzy, ile wariancji w y jest wyjaśnione przez x: R² = 1 − SSE/SST, gdzie SST = Σ(yᵢ − ȳ)². R² = 1 oznacza idealne dopasowanie; R² = 0 oznacza, że model niczego nie wyjaśnia. Co kluczowe, R² nie może powiedzieć, czy model jest poprawny — jedynie czy pasuje. Zależność nieliniowa może dać R² ≈ 0 dla dopasowania liniowego, nawet gdy istnieje idealny związek funkcyjny.
Regresja liniowa (OLS)
Wykres punktowy 640×400: kliknij, by dodać/przeciągnąć/usunąć punkty, linia OLS na żywo, nachylenie m/przecięcie b/R²/r Pearsona/SSE. Reszty jako przerywane pionowe linie. 5 zestawów danych: losowy, idealny, wartość odstająca, brak korelacji, kwadratowy (pokazujący granice dopasowania liniowego).
Klastrowanie K-Means
Inicjalizacja K-Means++ ze strefami Woronoja, metoda łokcia K=2..8, kliknij, by dodać punkty. Trzy generatory danych: skupiska, półksiężyce, pierścienie. Ślady trajektorii centroidów. Zobacz, jak kryterium łokcia znajduje rzeczywistą liczbę klastrów.
Metoda najmniejszych kwadratów — rozwiązanie w postaci zamkniętej
Nachylenie: m = (n Σxᵢyᵢ − Σxᵢ Σyᵢ) / (n Σxᵢ² − (Σxᵢ)²)
Przecięcie: b = (Σyᵢ − m Σxᵢ) / n = ȳ − m·x̄
r Pearsona = m · σₓ / σᵧ
R² = r² (dla prostej regresji liniowej)
SSE = Σ(yᵢ − mxᵢ − b)² (suma kwadratów reszt)
SST = Σ(yᵢ − ȳ)² (całkowita suma kwadratów)
R² = 1 − SSE/SST
Budowanie intuicji: niespodzianki w prawdopodobieństwie
Wiele wyników rachunku prawdopodobieństwa łamie naiwną intuicję. Trzy kanoniczne przypadki:
- Paradoks urodzin: wystarczy zaledwie 23 osoby, by szansa na wspólne urodziny wyniosła 50%. Nasze mózgi zakotwiczają się w pytaniu „ile par pasuje do mnie?” (1/365 każda), ignorując O(n²) par.
- Test medyczny: test o dokładności 99% dla choroby dotykającej 1% populacji daje dodatnią wartość predykcyjną wynoszącą jedynie ~50% — równą rzutowi monetą. Bazowa częstość dominuje.
- Ruina hazardzisty: w uczciwej grze (p = 0,5) gracz o skończonym kapitale w końcu zbankrutuje z prawdopodobieństwem 1, niezależnie od tego, jak długo będzie grał. Łańcuch Markowa jest błądzeniem losowym z barierami pochłaniającymi — a stanem pochłaniającym jest ruina.
Prawo wielkich liczb kontra centralne twierdzenie graniczne. Te dwa wyniki są często mylone. Prawo wielkich liczb mówi, że X̄ → μ, gdy n → ∞ (średnia zbiega do prawdziwej średniej). CTG mówi, że fluktuacje X̄ wokół μ zbiegają do rozkładu normalnego — ilościowo określa tempo zbieżności w prawie wielkich liczb. CTG jest głębszym wynikiem: mówi nie tylko, że zbiegasz, ale dokładnie jak szybko i w jakim kształcie.
Metody Monte Carlo: symulacja jako całkowanie
Monte Carlo odnosi się do dowolnego algorytmu wykorzystującego losowe próbkowanie do obliczenia deterministycznej wielkości. Najsłynniejszy przykład — szacowanie π — próbkuje jednostajne punkty w kwadracie jednostkowym i liczy te wewnątrz wpisanego okręgu. Ale prawdziwa moc Monte Carlo leży w całkowaniu wysokowymiarowym: podczas gdy reguły kwadraturowe rosną wykładniczo pod względem kosztu wraz z wymiarem, błąd Monte Carlo zawsze wynosi O(1/√n) niezależnie od wymiaru. Dla całek d ≥ 5 Monte Carlo jest zwykle jedyną praktyczną metodą.
Bootstrap to procedura Monte Carlo dla oceny niepewności: resampluj swój zbiór danych ze zwracaniem B razy, oblicz swoją statystykę (średnią, medianę, korelację, nachylenie regresji) na każdym resamplingu, a empiryczny rozkład tych wartości przybliża prawdziwy rozkład próby tej statystyki. Nie są potrzebne żadne założenia parametryczne.