📊 Aktualizacja bayesowska

Rozkład beta jest zdefiniowany na przedziale [0, 1], dokładnie w zakresie prawdopodobieństwa, a jego dwa parametry kształtu alfa i beta można interpretować jako pseudoliczności wcześniejszych orłów i reszek. Co najważniejsze, jest to sprzężony prior dla wiarygodności dwumianowej: pomnożenie priora beta przez wiarygodność dwumianową daje kolejny rozkład beta. Ta sprzężoność oznacza, że aktualizacja rozkładu a posteriori wymaga tylko dwóch dodawań (alfa += k, beta += n − k) zamiast całki numerycznej, co czyni obliczenia dokładnymi i natychmiastowymi niezależnie od liczby zaobserwowanych rzutów.

Filtry antyspamowe wykorzystują ją do oszacowania prawdopodobieństwa, że słowo (np. „darmowy” lub „zwycięzca”) wskazuje na spam, udoskonalając oszacowania w miarę oznaczania e-maili przez użytkownika. Testy medyczne wykorzystują ją do obliczenia dodatniej wartości predykcyjnej — prawdopodobieństwa, że pozytywny wynik testu oznacza chorobę — łącząc czułość testu z priorem rozpowszechnienia choroby. W odbiornikach GPS filtr Kalmana stosuje sekwencyjne aktualizacje bayesowskie, aby połączyć zaszumione sygnały satelitarne z przewidywaniami modelu ruchu. Platformy testów A/B wykorzystują metody bayesowskie do estymacji rozkładów a posteriori współczynników konwersji i raportowania przedziałów wiarygodności zamiast wartości p.

Częstym błędnym przekonaniem jest, że metody bayesowskie są „subiektywne”, a przez to mniej rygorystyczne niż metody częstościowe. W praktyce oba podejścia wymagają wyborów modelowych — częstościowcy wybierają statystykę testową i poziom istotności, bayesiści wybierają prior. Gdy prior jest słabo informacyjny lub danych jest dużo, posterior jest zdominowany przez wiarygodność i zbiega do tej samej odpowiedzi, którą uzyskałby częstościowiec. Prawdziwa różnica jest interpretacyjna: bayesiści przypisują prawdopodobieństwa hipotezom, co naturalnie pasuje do podejmowania decyzji; częstościowcy definiują prawdopodobieństwo jako długoterminową częstość, co unika specyfikacji priora, ale uniemożliwia bezpośrednie stwierdzenia o prawdopodobieństwie dla parametrów.

Wielebny Thomas Bayes (ok. 1701-1761) wyprowadził podstawowe twierdzenie, ale nigdy go nie opublikował; jego przyjaciel Richard Price znalazł rękopis i przedstawił go Royal Society, gdzie ukazał się w Philosophical Transactions w 1763 roku, dwa lata po śmierci Bayesa. Pierre-Simon Laplace niezależnie odkrył i znacznie rozwinął to podejście około 1774 roku, nadając mu matematyczną formę, której używamy dziś, i stosując je do problemów od wskaźników urodzeń po mechanikę niebieską. Współczesny termin „statystyka bayesowska” upowszechnił się dopiero w latach 50. i 60. XX wieku, propagowany przez statystyków takich jak Harold Jeffreys, Leonard Savage i Dennis Lindley.

Wnioskowanie bayesowskie (prior, wiarygodność i posterior) na tej stronie rozszerza tę samą strukturę na modele niesprzężone. Symulator rozkładu normalnego demonstruje centralne twierdzenie graniczne, które wyjaśnia, dlaczego rozkłady a posteriori dla dużych prób stają się w przybliżeniu gaussowskie niezależnie od priora. Symulator Monte Carlo Pi ilustruje inną metodę wnioskowania probabilistycznego — wykorzystanie losowego próbkowania do estymacji wielkości zamiast rozkładów a posteriori w postaci zamkniętej. Eksplorator rozkładów prawdopodobieństwa pozwala zbadać rozkłady beta, dwumianowy i inne, które stanowią podstawę modeli sprzężonych.

Klasyfikatory naiwnego Bayesa stosują twierdzenie Bayesa do klasyfikacji tekstu i dokumentów, traktując każde słowo jako niezależny dowód. Bayesowskie sieci neuronowe umieszczają rozkłady na wagach sieci zamiast pojedynczych estymatorów punktowych, umożliwiając kwantyfikację niepewności w predykcjach. Procesy gaussowskie — używane w optymalizacji bayesowskiej do strojenia hiperparametrów — utrzymują rozkład a posteriori nad całymi funkcjami i aktualizują go po każdym nowym eksperymencie. Algorytmy uczenia ze wzmocnieniem, takie jak próbkowanie Thompsona, wykorzystują próbki z rozkładu a posteriori do równoważenia eksploracji i eksploatacji w problemach wieloramiennego bandyty, przewyższając deterministyczne strategie epsilon-greedy w problemach z ograniczoną ilością danych.

Skalowalne wnioskowanie przybliżone to główny aktywny obszar badań: metody takie jak wnioskowanie wariacyjne (optymalizacja prostszego rozkładu przybliżającego posterior) oraz warianty łańcuchów Markowa Monte Carlo, takie jak No-U-Turn Sampler (NUTS, używany w Stan i PyMC), sprawiają, że aktualizacja bayesowska staje się wykonalna dla modeli z milionami parametrów. Badania nad głębokim uczeniem bayesowskim dążą do nadania sieciom neuronowym skalibrowanych oszacowań niepewności bez nadmiernych kosztów obliczeniowych. Kolejnym frontem jest elicytacja priorów — systematyczne przekładanie wiedzy eksperckiej na rozkłady a priori — oraz sprawdzanie predykcyjne priora, które ocenia, czy wybrany prior generuje wiarygodne dane, zanim zbierze się jakiekolwiek obserwacje.