Aktualizacja Bayesa: Obserwowanie Ostrożnego Wyostrzania Wiary w Czasie Rzeczywistym

Aktualizacja przekonania, a nie tylko liczby

Rzucając monetą o nieznanym prawdopodobiebie p, każdy wynik powinien delikatnie wpływać na Twoje przekonanie o wartości p. Zasada Bayesa sprawia, że ten wpływ jest precyzyjny: po zobaczeniu danych Twoje przekonanie (posta) jest proporcjonalne do Twojego początkowego przekonania pomnożone przez prawdopodobieństwo wystąpienia tych danych dla każdej możliwej wartości p.

P(p | dane) ∝ P(dane | p) · P(p) posterałna ∝ rawdopodobieństwo × początkowa

W tym uproszczonym przypadku, nie musimy obliczać stałej normalizującej – prawdopodobieństwa danych uśrednionego po wszystkich możliwych wartościach p.

P(p | data)  ∝  P(data | p) · P(p)

posterior   ∝   likelihood   ×   prior

Dlaczego Beta i Binomial pasują do siebie

Modeluj każdy rzut jako próbę Bernoulliego z nieznaną prawdopodobieństwem sukcesu p, i wybierz rozkład Beta(α, β) jako a priori dla p. Rozkład Beta jest zdefiniowany na przedziale dokładnie [0, 1], co odpowiada prawdopodobieństwu, a jego gęstość jest proporcjonalna do p^(α-1)·(1-p)^(β-1) — algebraicznie identyczny kształt jak funkcja wiarygodności Binomiala dla k sukcesów w n próbach, p^k·(1-p)^(n-k). Pomnożenie a priori Beta przez wiarygodność Binomiala więc po prostu dodaje wykładniki, a wynikiem jest kolejny rozkład Beta:

prior: p ~ Beta(α, β) data: k sukcesów w n rzutach posterior: p ~ Beta(α + k, β + n - k) Jest to a priori konwugujące: posterior pozostaje w tej samej rodzinie co a priori, więc aktualizacja nigdy nie wymaga integracji numerycznej — wystarczy dodać sukcesy do α i błędy do β. Interpretuj α i β jako pseudoliczby: rozkład Beta(1, 1) (jednorodny na [0,1], całkowita waga 2) koduje pełne niewiedzę, a po obserwacji 7 orłów i 3 reszek posterior Beta(8, 4) zachowuje się dokładnie tak, jakbyś zaczął od 1 fałszywego orła i 1 fałszywej reszki już w ręku.

prior:      p ~ Beta(α, β)
data:       k successes in n flips
posterior:  p ~ Beta(α + k, β + n - k)

Szacunki punktowe i przedziały wiarygodności

Rozkład Beta(α, β) ma średnią α/(α+β) i medianę (α-1)/(α+β-2) dla α, β > 1, więc wartość średnia pościerna po k głowach w n rzutach z jednorodnego rozkładu a priori to (k+1)/(n+2) — klasyczna zasada sukcesji Laplace'a, która unika wracania dokładnie do 0 lub 1 nawet po nieprzerwanym przebiegu. Przedział wiarygodności 95% — bezpośredni odpowiednik przedziału ufności w podejściu bayesowskim, ale interpretowany jako "istnieje 95% prawdopodobieństwa, że prawdziwa wartość p leży w tym zakresie, mając dane" — odczytuje się bezpośrednio z kwantyli pościernej rozkładu Beta, a widocznie zawęża się on wraz ze wzrostem n, co stanowi aktualizację, którą obserwujemy na żywo w symulacji.

Sekwencyjne aktualizowanie i właściwość niezależności od kolejności

Ponieważ posterior po n rzutach zależy tylko od całkowitej liczby głów i par, a nie od ich kolejności, można go aktualizować krok po kroku, otrzymując dokładnie tę samą końcową posterioryzę, co przy jednym aktualizowaniu całej partii – dzisiejsza posteryorzyza staje się jutrzejszym priorze, na zawsze. Dlatego też aktualizacja Bayesa jest naturalnie sekwencyjna: nie ma potrzeby przechowywania surowych danych, wystarczy para (α, β), która również stanowi podstawowy mechanizm działania wieloramowych banditów, filtrów spamu i testów A/B, które muszą stale się uczyć w miarę jak przybywają nowe obserwacje.

Wybór przedrozdystancji i dlaczego ostatecznie nie ma to znaczenia

Silna przedrozdystancja (duża α+β) wymaga więcej danych, aby się przesunęła; słaba lub płaska przedrozdystancja (α=β=1) jest niemal natychmiast wpływana przez pierwsze kilka obserwacji. Wraz ze wzrostem n, wykładniki prawdopodobieństwa k i n−k dominują stałe α i β, a posteriorne rozkłady z bardzo różnych początkowych przedrozdystansji zbiegają się do tego samego wyniku – wersja twierdzenia Bernstein-von Mises. Przedrozdystancja ma znaczenie głównie wtedy, gdy danych jest mało, co jest dokładnie tym momentem, w którym uczciwe kodowanie tego, czego już uważasz, jest najbardziej wartościowe.

Frequently asked questions

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Bayesian Updating i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.