Баєсове оновлення

Розподіл Beta визначений на інтервалі [0, 1] — саме на діапазоні ймовірності, а його два параметри форми α і β можна тлумачити як псевдорахунки апріорних орлів і решок. Найважливіше — це спряжений апріорний розподіл для біноміальної правдоподібності: множення апріорного Beta на біноміальну правдоподібність дає знову розподіл Beta. Ця спряженість означає, що оновлення апостеріорного розподілу вимагає лише двох додавань (α += k, β += n − k) замість чисельного інтегрування, що робить обчислення точним і миттєвим незалежно від кількості спостережених підкидань.

Спам-фільтри використовують баєсове оновлення для оцінки ймовірності того, що слово (наприклад, «безкоштовно» чи «переможець») вказує на спам, уточнюючи оцінки в міру того, як користувач позначає листи. Медичне тестування використовує його для обчислення позитивної прогностичної цінності — ймовірності того, що позитивний результат тесту означає хворобу — поєднуючи чутливість тесту з апріорною поширеністю хвороби. У GPS-приймачах фільтр Калмана застосовує послідовні баєсові оновлення для злиття шумних супутникових сигналів із прогнозами моделі руху. Платформи A/B-тестування використовують баєсівські методи для оцінки апостеріорних розподілів конверсії та звітують достовірні інтервали замість p-значень.

Поширене хибне уявлення полягає в тому, що баєсівські методи є «суб'єктивними» і тому менш строгими за частотні. Насправді обидва підходи вимагають вибору моделі — частотники обирають тестову статистику й рівень значущості, баєсіанці обирають апріорний розподіл. Коли апріорний розподіл слабоінформативний або даних багато, апостеріорний розподіл визначається переважно правдоподібністю і сходиться до тієї ж відповіді, яку отримав би частотник. Справжня різниця — в інтерпретації: баєсіанці приписують ймовірності гіпотезам, що природно узгоджується з прийняттям рішень; частотники визначають ймовірність як довгострокову частоту, що уникає потреби задавати апріорний розподіл, але унеможливлює прямі ймовірнісні твердження про параметри.

Преподобний Томас Баєс (бл. 1701–1761) вивів основну теорему, але так і не опублікував її; його друг Річард Прайс знайшов рукопис і подав його до Королівського товариства, де він з'явився в Philosophical Transactions у 1763 році, через два роки після смерті Баєса. П'єр-Симон Лаплас незалежно перевідкрив і значно розширив цей підхід близько 1774 року, надавши йому математичну форму, якою ми користуємось сьогодні, і застосувавши його до задач від народжуваності до небесної механіки. Сучасний термін «баєсівська статистика» став поширеним лише у 1950–1960-х роках завдяки таким статистикам, як Гарольд Джеффріс, Леонард Севідж і Денніс Ліндлі.

Байєсівський висновок (Prior, Likelihood та Posterior) на цьому сайті розширює ту саму методологію на неспряжені моделі. Симулятор нормального розподілу демонструє центральну граничну теорему, яка пояснює, чому апостеріорні розподіли для великих вибірок стають приблизно гаусовими незалежно від апріорного розподілу. Симулятор Монте-Карло π ілюструє інший метод імовірнісних міркувань — оцінку величин за допомогою випадкової вибірки замість замкнених апостеріорних розподілів. Дослідник імовірнісних розподілів дозволяє вивчити Beta-, Біноміальний та інші сімейства, що лежать в основі спряжених моделей.

Наївні баєсівські класифікатори застосовують теорему Баєса до класифікації тексту й документів, розглядаючи кожне слово як незалежний доказ. Баєсівські нейронні мережі задають розподіли на вагах мережі замість точкових оцінок, що дозволяє кількісно оцінювати невизначеність прогнозів. Гаусові процеси — які використовують у баєсівській оптимізації для налаштування гіперпараметрів — підтримують апостеріорний розподіл на цілих функціях і оновлюють його з кожним новим експериментом. Алгоритми навчання з підкріпленням, такі як Thompson Sampling, використовують вибірки з апостеріорного розподілу для балансування дослідження й використання в задачах багаторукого бандита, перевершуючи детерміновані epsilon-жадібні стратегії при обмежених даних.