📊 Bayes'sches Updating

Die Beta-Verteilung ist auf dem Intervall [0, 1] definiert, genau dem Bereich einer Wahrscheinlichkeit, und ihre beiden Formparameter alpha und beta können als Pseudo-Zählungen von Kopf und Zahl im Prior interpretiert werden. Entscheidend ist, dass sie der konjugierte Prior für die Binomial-Likelihood ist: Multipliziert man einen Beta-Prior mit einer Binomial-Likelihood, erhält man wieder eine Beta-Verteilung. Diese Konjugation bedeutet, dass das Posterior-Update nur zwei Additionen erfordert (alpha += k, beta += n − k) statt eines numerischen Integrals.

Spamfilter nutzen Bayes'sches Updating, um die Wahrscheinlichkeit zu schätzen, dass ein Wort (wie „gratis“ oder „Gewinner“) auf Spam hinweist, und verfeinern die Schätzungen, wenn Nutzer E-Mails markieren. Medizinische Tests nutzen es, um den positiven prädiktiven Wert zu berechnen — die Wahrscheinlichkeit, dass ein positives Testergebnis Krankheit bedeutet — durch Kombination von Testsensitivität mit dem Prävalenz-Prior. In GPS-Empfängern wendet ein Kalman-Filter sequenzielle Bayes'sche Updates an, um verrauschte Satellitensignale mit Bewegungsmodell-Vorhersagen zu verschmelzen. A/B-Test-Plattformen nutzen Bayes'sche Methoden, um Posterior-Konversionsraten zu schätzen und Kredibilitätsintervalle statt p-Werte auszugeben.

Ein verbreitetes Missverständnis ist, dass Bayes'sche Methoden „subjektiv“ und daher weniger rigoros als frequentistische Methoden seien. In der Praxis erfordern beide Ansätze Modellierungsentscheidungen — Frequentisten wählen eine Teststatistik und ein Signifikanzniveau, Bayesianer wählen einen Prior. Ist der Prior schwach informativ oder liegen reichlich Daten vor, wird die Posterior von der Likelihood dominiert und konvergiert zur selben Antwort, die ein Frequentist erhielte. Der eigentliche Unterschied ist die Interpretation: Bayesianer weisen Hypothesen Wahrscheinlichkeiten zu, Frequentisten definieren Wahrscheinlichkeit als Langzeithäufigkeit.

Der Reverend Thomas Bayes (ca. 1701–1761) leitete das Kerntheorem her, veröffentlichte es aber nie; sein Freund Richard Price fand das Manuskript und reichte es bei der Royal Society ein, wo es 1763, zwei Jahre nach Bayes' Tod, in den Philosophical Transactions erschien. Pierre-Simon Laplace entdeckte den Ansatz um 1774 unabhängig neu und erweiterte ihn erheblich, gab ihm die heute genutzte mathematische Form und wandte ihn auf Probleme von Geburtenraten bis zur Himmelsmechanik an. Der moderne Begriff „Bayes'sche Statistik“ wurde erst in den 1950er–1960er Jahren gebräuchlich, vorangetrieben von Statistikern wie Harold Jeffreys, Leonard Savage und Dennis Lindley.

Bayes'sche Inferenz (Prior, Likelihood und Posterior) auf dieser Seite erweitert dasselbe Rahmenwerk auf nicht-konjugierte Modelle. Der Normalverteilungs-Simulator zeigt den zentralen Grenzwertsatz, der erklärt, warum Posteriors großer Stichproben unabhängig vom Prior annähernd gaußförmig werden. Der Monte-Carlo-Pi-Simulator veranschaulicht eine weitere probabilistische Methode — Zufallsstichproben statt geschlossener Posteriors. Der Wahrscheinlichkeitsverteilungs-Explorer lässt dich Beta, Binomial und andere Familien untersuchen, die konjugierten Modellen zugrunde liegen.

Naive-Bayes-Klassifikatoren wenden Bayes' Theorem auf Text- und Dokumentklassifikation an und behandeln jedes Wort als unabhängige Evidenz. Bayes'sche neuronale Netze legen Verteilungen über Netzwerkgewichte statt Punktschätzungen fest und ermöglichen so Unsicherheitsquantifizierung bei Vorhersagen. Gauß-Prozesse — genutzt in Bayes'scher Optimierung für Hyperparameter-Tuning — halten eine Posterior-Verteilung über ganze Funktionen und aktualisieren sie mit jedem neuen Experiment. Verstärkungslernalgorithmen wie Thompson Sampling nutzen Posterior-Stichproben, um Exploration und Ausbeutung bei Multi-Armed-Bandit-Problemen auszubalancieren.

Skalierbare approximative Inferenz ist ein wichtiges aktives Forschungsgebiet: Methoden wie Variational Inference (Optimierung einer einfacheren Verteilung zur Approximation der Posterior) und Markov-Chain-Monte-Carlo-Varianten wie der No-U-Turn-Sampler (NUTS, genutzt in Stan und PyMC) machen Bayes'sches Updating für Modelle mit Millionen von Parametern handhabbar. Bayes'sche Deep-Learning-Forschung sucht nach kalibrierten Unsicherheitsschätzungen für neuronale Netze ohne prohibitive Rechenkosten. Ein weiteres Grenzgebiet ist die Prior-Elizitation — die systematische Übersetzung von Fachwissen in Prior-Verteilungen — und Prior-Predictive-Checking.