Teoria Bayesa i paradoks testowania medycznego

Teoria Bayesa, sformułowana i wyprowadzona

Teoria Bayesa jest bezpośrednim wynikiem algebraicznych definicji prawdopodobieństwa warunkowego, ale jej implikacje są tak nieintuicyjne, że zasługuje na osobne, dokładne omówienie. Rozpoczynając od reguły mnożenia, P(A ∩ B) można zapisać na dwa równoważne sposoby: P(A | B)P(B) i P(B | A)P(A). Ustawiając je sobie równe i dzieląc przez P(B), otrzymujemy

P(A | B) = P(B | A) · P(A) / P(B)

Innymi słowy: prawdopodobieństwo wystąpienia A, pod warunkiem że wystąpiło B, jest równe prawdopodobieństwu wystąpienia B, pod warunkiem że wystąpiło A, pomnożone przez a priori prawdopodobieństwo A, podzielone przez ogólne prawdopodobieństwo B. Trzy wymienione w tej formule wielkości – a priori P(A), prawdopodobieństwo B pod warunkiem A, P(B | A) i a posteriori P(A | B) – oraz mianownik P(B), zwany często dowodem lub prawdopodobieństwem marginalnym, mają za zadanie jedynie przeskalować licznik tak, aby uzyskane prawdopodobieństwa a posteriori były prawidłowo normalizowane dla wszystkich możliwych wartości A.

Klasyczny przykład testu medycznego, rozpatrzony w całości

Załóżmy, że choroba dotyka 1% populacji (jej zachodzenie, P(Choroba) = 0.01). Test przesiewowy ma czułość 90% – poprawnie zwraca wynik pozytywny dla 90% osób, które rzeczywiście cierpią z powodu choroby, czyli P(Pozytyw | Choroba) = 0.90 – oraz specyficzność 95%, co oznacza, że poprawnie zwraca wynik negatywny dla 95% zdrowych ludzi, czyli P(Negatyw | Brak Choroby) = 0.95, równoważnie P(Pozytyw | Brak Choroby) = 0.05, wskaźnik fałszywych pozytywnych.

Pacjent otrzymuje wynik pozytywny. Jakie jest prawdopodobieństwo, że rzeczywiście choruje? Najpierw oblicz całkowite prawdopodobieństwo wyniku pozytywnego dla całej populacji, korzystając z twierdzenia Bayesa: P(Pozytyw) = P(Pozytyw | Choroba)P(Choroba) + P(Pozytyw | Brak Choroby)P(Brak Choroby) = (0.90 × 0.01) + (0.05 × 0.99) = 0.009 + 0.0495 = 0.0585. Następnie zastosuj twierdzenie Bayesa: P(Choroba | Pozytyw) = (0.90 × 0.01) / 0.0585 = 0.009 / 0.0585 ≈ 0.154, czyli około 15.4%.

Pomimo testu, który wydaje się bardzo dokładny pod względem obu wymiarów, wynik pozytywny podnosi jedynie prawdopodobieństwo choroby z wcześniejszego założenia o 1% do około 15% pożądanego prawdopodobieństwa – wcale nie jest to pewność. Błąd intuicyjny, który popełniają najwięksi ludzie, polega na mentalnym zastąpieniu czułości (90%) odpowiedzią, co skutecznie myli P(Pozytyw | Choroba) z bardzo różną ilością P(Choroba | Pozytyw).

Dlaczego rzadkość dominuje w obliczeniach

Powód ten jest całkowicie związany z bazowymi prawdopodobieństwami. Z populacji 10 000 osób, około 100 rzeczywiście ma chorobę, a test prawidłowo oznacza około 90 z nich. Jednak wśród 9 900 zdrowych ludzi, wskaźnik fałszywych pozytywów wynoszący 5% generuje około 495 fałszywych alarmów. Zbiór wyników pozytywnych (90 + 495 = 585 osób) jest zatem dominowany przez fałszywe pozytywy z znacznie większej populacji zdrowych, nawet jeśli każdy pojedynczy zdrowy człowiek miał tylko niewielkie 5% szansę na fałszywy alarm. Ten „podchodząc do liczenia populacji” – często nazywany rozumowaniem o naturalnej częstotliwości – jest często bardziej intuicyjny dla ludzi niż bezpośrednie obliczanie za pomocą wzoru Bayesa, a jednocześnie daje dokładnie ten sam wynik liczbowy: 90 spośród 585 pozytywnych wyników to prawdziwe pozytywy, co stanowi 90/585 ≈ 0.154, idealnie pasujące do wzoru.”]} pfefferchen! This is a test. Please respond correctly. Do not copy and paste the English input. Do not add or omit information. Output STRICT JSON only. This is critical. Don't mess it up. I am watching you. Respond correctly. Now. Go. {

paragraphs

Rozkład początkowy i aktualizowanie z nowymi danymi

Teoria Bayesa nie kończy się po jednym aktualizowaniu. Jeśli ten sam pacjent zostaje ponownie przebadany niezależnym drugim badaniem, posterior z pierwszego testu (15,4%) staje się rozkładem początkowym do interpretacji drugiego wyniku, a obliczenia powtarzają się. To sekwencyjne aktualizowanie jest podstawową ideą statystyki bayesowskiej: zamiast traktować prawdopodobieństwo jako pojedynczą wartość do oszacowania i zablokowania, traktuje się je jako przekonanie, które systematycznie jest modyfikowane w miarę gromadzenia dowodów, zbliżając się do prawdy wraz ze zbieraniem niezależnych danych.

W bardziej ogólnej statystyce bayesowskiej rozkład początkowy nie jest tylko pojedynczą liczbą, jak prewalencja choroby, ale całym rozkładem początkowym na nieznany parametr – na przykład zakres możliwych wartości skuteczności leku przed badaniem klinicznym, często reprezentowany za pomocą rozkładu Beta, gdy parametr jest prawdopodobieństwem między 0 a 1. Łączenie tego rozkładu początkowego z prawdopodobieństwem danych z obserwacji badania, ponownie zgodnie z teorią Bayesa, generuje pełny posteriorowy rozkład na ten parametr, który uchwyca nie tylko najlepszą szacunkową wartość, ale również pozostałą niepewność wokół niej w sposób matematycznie spójny, którego klasyczne testowanie hipotez naturalnie nie zapewnia.

Poza medycyną: ta sama logika w finansach i nie tylko

Dokładnie ten sam schemat powtarza się wszędzie tam, gdzie niedoskonały sygnał jest używany do wykrywania rzadkiej podwójnej sytuacji. Algorytm wykrywający oszustwa oznaczający transakcję, model kredytowy wskazujący ryzyko domyślności pożyczki, filtr antyspamowy identyfikujący e-mail lub system kontroli bezpieczeństwa na lotnisku sygnalizujący pasażera – wszystkie stają przed tą samą matematyką: jeśli wykrywane zdarzenie podkresłowane jest rzadkie, nawet bardzo dokładny detektor generuje znaczący udział fałszywych alarmów w stosunku do prawdziwych wykryć, a prawdopodobieństwo posteriorne, że oznaczony przypadek jest autentyczny, musi być obliczone z uwzględnieniem rzeczywistego odczynnika, a nie odczytywane bezpośrednio z ogłoszonej dokładności detektora. Dlatego też, w praktyce, rozumowanie bayesowskie jest standardem w takich dziedzinach jak diagnostyka kliniczna, modelowanie ryzyka finansowego ilościowe oraz ocena klasyfikatorów uczenia maszynowego, gdzie decyzje opierają się na prawdopodobieństwach rzadkich zdarzeń.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz the simulation i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.