📊 Mise à jour bayésienne

La loi Bêta est définie sur l'intervalle [0, 1], exactement la plage d'une probabilité, et ses deux paramètres de forme alpha et beta peuvent être interprétés comme des pseudo-comptages de faces et de piles a priori. Plus important encore, c'est l'a priori conjugué de la vraisemblance Binomiale : multiplier un a priori Bêta par une vraisemblance Binomiale donne une autre distribution Bêta. Cette conjugaison signifie que la mise à jour a posteriori ne requiert que deux additions (alpha += k, beta += n - k) plutôt qu'une intégrale numérique, rendant le calcul exact et instantané quel que soit le nombre de lancers observés.

Les filtres anti-spam utilisent la mise à jour bayésienne pour estimer la probabilité qu'un mot (comme « gratuit » ou « gagnant ») indique un spam, affinant les estimations à mesure que l'utilisateur marque des e-mails. Les tests médicaux l'utilisent pour calculer la valeur prédictive positive — la probabilité qu'un résultat de test positif signifie une maladie — en combinant la sensibilité du test avec la prévalence a priori de la maladie. Dans les récepteurs GPS, un filtre de Kalman applique des mises à jour bayésiennes séquentielles pour fusionner des signaux satellites bruités avec des prédictions de modèle de mouvement. Les plateformes de tests A/B utilisent des méthodes bayésiennes pour estimer des a posteriori de taux de conversion et rapporter des intervalles de crédibilité plutôt que des valeurs p.

Une idée reçue courante est que les méthodes bayésiennes sont « subjectives » et donc moins rigoureuses que les méthodes fréquentistes. En pratique, les deux approches nécessitent des choix de modélisation — les fréquentistes choisissent une statistique de test et un seuil de signification, les bayésiens choisissent un a priori. Lorsque l'a priori est faiblement informatif ou que les données sont abondantes, l'a posteriori est dominé par la vraisemblance et converge vers la même réponse qu'un fréquentiste obtiendrait. La vraie différence est interprétative : les bayésiens assignent des probabilités aux hypothèses, ce qui s'aligne naturellement avec la prise de décision ; les fréquentistes définissent la probabilité comme une fréquence à long terme, ce qui évite la spécification d'un a priori mais rend impossibles les déclarations de probabilité directes sur les paramètres.

Le révérend Thomas Bayes (v. 1701-1761) a établi le théorème central mais ne l'a jamais publié ; son ami Richard Price a trouvé le manuscrit et l'a soumis à la Royal Society, où il parut dans Philosophical Transactions en 1763, deux ans après la mort de Bayes. Pierre-Simon Laplace a redécouvert indépendamment et grandement étendu l'approche vers 1774, lui donnant la forme mathématique que nous utilisons aujourd'hui et l'appliquant à des problèmes allant des taux de natalité à la mécanique céleste. Le terme moderne « statistiques bayésiennes » n'est devenu courant que dans les années 1950-1960, défendu par des statisticiens tels que Harold Jeffreys, Leonard Savage et Dennis Lindley.

L'inférence bayésienne (a priori, vraisemblance et a posteriori) sur ce site étend le même cadre aux modèles non conjugués. Le simulateur de distribution normale démontre le théorème central limite, qui explique pourquoi les a posteriori de grands échantillons deviennent approximativement gaussiens quel que soit l'a priori. Le simulateur Monte-Carlo Pi illustre une autre méthode de raisonnement probabiliste — utiliser l'échantillonnage aléatoire pour estimer des quantités plutôt que des a posteriori sous forme close. L'explorateur de distributions de probabilité vous permet d'examiner les lois Bêta, Binomiale et d'autres familles qui sous-tendent les modèles bayésiens conjugués.

Les classifieurs Naive Bayes appliquent le théorème de Bayes à la classification de texte et de documents, traitant chaque mot comme une preuve indépendante. Les réseaux de neurones bayésiens placent des distributions sur les poids du réseau plutôt que des estimations ponctuelles, permettant la quantification de l'incertitude dans les prédictions. Les processus gaussiens — utilisés en optimisation bayésienne pour le réglage d'hyperparamètres — maintiennent une distribution a posteriori sur des fonctions entières et la mettent à jour à chaque nouvelle expérience. Des algorithmes d'apprentissage par renforcement comme l'échantillonnage de Thompson utilisent des échantillons a posteriori pour équilibrer exploration et exploitation dans les problèmes de bandit manchot, surpassant les stratégies epsilon-gloutonnes déterministes sur les problèmes à données limitées.

L'inférence approximative scalable est un domaine actif majeur : des méthodes comme l'inférence variationnelle (optimiser une distribution plus simple pour approximer l'a posteriori) et les variantes de Monte-Carlo par chaînes de Markov comme le No-U-Turn Sampler (NUTS, utilisé dans Stan et PyMC) rendent la mise à jour bayésienne praticable pour des modèles à des millions de paramètres. La recherche en apprentissage profond bayésien cherche à donner aux réseaux de neurones des estimations d'incertitude calibrées sans coût de calcul prohibitif. Une autre frontière est l'élicitation d'a priori — traduire systématiquement les connaissances d'experts du domaine en distributions a priori — et la vérification prédictive a priori, qui évalue si un a priori choisi génère des données plausibles avant toute observation.