Баєсівська статистика

📊 Що таке баєсівська статистика?

Баєсівська статистика — це підхід до статистичного висновку, який використовує теорему Баєса для оновлення ймовірностей гіпотез на основі нових даних. Вона відрізняється від класичної (частотної) статистики тим, що розглядає параметри як випадкові величини з априорними розподілами, а не як фіксовані невідомі величини. Баєсівська статистика надає потужні інструменти для індуктивного висновку та має широке застосування в машинному навчанні, дослідженнях та прийнятті рішень.

🎯 Основні розділи баєсівської статистики:

Теорема Баєса - фундаментальна формула

Априорні розподіли - попередні знання

Апостеріорні розподіли - оновлені знання

Баєсівський висновок - статистичні висновки

Методи Монте-Карло - чисельні методи

📊 Теорема Баєса

1. Основна формула

Фундаментальна теорема баєсівської статистики:

📊 Теорема Баєса

Основна формула:

Компоненти:

📊 Апостеріорна ймовірність

Визначення: • P(H|D) - ймовірність гіпотези H • За умови спостереження даних D • Оновлена ймовірність • Властивості

Властивості: • 0 ≤ P(H|D) ≤ 1 • ∑ P(H_i|D) = 1 • Баєсівський висновок • Приклади

📊 Функція правдоподібності

Визначення: • P(D|H) - ймовірність даних D • За умови істинності гіпотези H • Лікelihood • Властивості

Властивості: • L(H) = P(D|H) • Максимізація • Логічна функція • Приклади

📊 Априорна ймовірність

Визначення: • P(H) - попередня ймовірність • Гіпотези H до спостереження • Попередні знання • Властивості

Властивості: • Суб'єктивні знання • Об'єктивні знання • Неінформативні • Приклади

2. Приклади застосування

Класичні приклади теореми Баєса:

📊 Медичний тест

Задача: • Хвороба: 1% населення • Тест: 95% точність • Позитивний тест • Ймовірність хвороби?

Розв'язок: • P(Хвороба|+) = ? • P(+|Хвороба) = 0.95 • P(Хвороба) = 0.01 • P(+|Здоровий) = 0.05

📊 Спам-фільтр

Задача: • 50% листів - спам • Слово "безкоштовно" • 80% спаму містить слово • 10% неспаму містить слово

Розв'язок: • P(Спам|"безкоштовно") = ? • P("безкоштовно"|Спам) = 0.8 • P(Спам) = 0.5 • P("безкоштовно"|Неспам) = 0.1

📊 Монета

Задача: • Дві монети: чесна та нечесна • Нечесна: 80% гербів • Вибрана монета • 3 герби поспіль

Розв'язок: • P(Нечесна|3 герби) = ? • P(3 герби|Нечесна) = 0.8³ • P(Нечесна) = 0.5 • P(3 герби|Чесна) = 0.5³

P(H|D) = P(D|H) × P(H) / P(D)

📊 Априорні розподіли

1. Типи априорних розподілів

Різні типи попередніх знань:

📊 Априорні розподіли

Неінформативні:

Інформативні:

📊 Рівномірний розподіл

Визначення: • π(θ) = 1/(b-a) для a ≤ θ ≤ b • Неінформативний • Рівні ймовірності • Властивості

Властивості: • Константи a, b • Плоский розподіл • Обмежений інтервал • Приклади

📊 Нормальний розподіл

Визначення: • π(θ) = N(μ₀, σ₀²) • Інформативний • Гауссів розподіл • Властивості

Властивості: • μ₀ - середнє • σ₀² - дисперсія • Симетричний • Приклади

📊 Бета розподіл

Визначення: • π(θ) = Beta(α, β) • Для 0 ≤ θ ≤ 1 • Кон'югований • Властивості

Властивості: • α, β - параметри • Гнучкість форми • Обмежений інтервал • Приклади

2. Кон'юговані розподіли

Розподіли, що зберігають свою форму:

📊 Бета-біноміальна

Априорний: • π(p) = Beta(α, β) • p - ймовірність успіху • α, β - параметри • Властивості

Апостеріорний: • π(p|data) = Beta(α+x, β+n-x) • x - кількість успіхів • n - кількість спроб • Кон'югований

📊 Нормальний-нормальний

Априорний: • π(μ) = N(μ₀, σ₀²) • μ - середнє • μ₀, σ₀² - параметри • Властивості

Апостеріорний: • π(μ|data) = N(μ₁, σ₁²) • μ₁ = (σ₀²x̄ + σ²μ₀)/(σ₀² + σ²) • σ₁² = σ₀²σ²/(σ₀² + σ²) • Кон'югований

📊 Гамма-пуассонівський

Априорний: • π(λ) = Gamma(α, β) • λ - інтенсивність • α, β - параметри • Властивості

Апостеріорний: • π(λ|data) = Gamma(α+∑x_i, β+n) • ∑x_i - сума спостережень • n - кількість спостережень • Кон'югований

π(θ) ∝ 1 (рівномірний) π(θ) ∝ 1/θ (Джеффріс)

📊 Апостеріорні розподіли

1. Обчислення апостеріорних розподілів

Оновлення знань на основі даних:

📊 Апостеріорний розподіл

Формула:

Компоненти:

📊 Аналітичні розв'язки

Кон'юговані: • Той самий тип розподілу • Прості формули • Точні розв'язки • Властивості

Приклади: • Бета-біноміальний • Нормальний-нормальний • Гамма-пуассонівський • Дирихле-мультиноміальний

📊 Чисельні методи

Методи: • Марковські ланцюги Монте-Карло • Гіббс семплінг • Метрополіс-Гастінгс • Властивості

Переваги: • Загальність • Гнучкість • Складні моделі • Приклади

📊 Апроксимації

Методи: • Лапласове наближення • Вариаційний висновок • Експектаційна максимізація • Властивості

Переваги: • Швидкість • Простота • Масштабованість • Приклади

2. Властивості апостеріорних розподілів

Ключові характеристики апостеріорних розподілів:

📊 Точечні оцінки

Апостеріорне середнє: • E[θ|data] • Баєсівська оцінка • Мінімізує MSE • Властивості

Апостеріорна мода: • MAP оцінка • Максимум апостеріорного • Спрощена • Властивості

📊 Інтервальні оцінки

Довірчі інтервали: • Кредібельні інтервали • 95% довіри • Інтерпретація • Властивості

Властивості: • Байєсівська інтерпретація • Прямий зміст • Умовна ймовірність • Приклади

📊 Невизначеність

Апостеріорна дисперсія: • Var[θ|data] • Міра невизначеності • Зменшується з даними • Властивості

Властивості: • Невизначеність параметра • Точність оцінки • Довіра до результату • Приклади

π(θ|data) ∝ L(θ|data) × π(θ)

📊 Баєсівський висновок

1. Перевірка гіпотез

Баєсівський підхід до тестування гіпотез:

📊 Баєсівський фактор

Визначення:

Апостеріорні шанси:

📊 Порівняння моделей

Методи: • Баєсівський фактор • Інформаційні критерії • Перехресна валідація • Властивості

Переваги: • Автоматичне регулювання • Оккамова бритва • Баланс складності • Приклади

📊 Модельне середнє

Метод: • P(θ|data) = Σ P(θ|M_i, data) P(M_i|data) • M_i - моделі • P(M_i|data) - ваги • Властивості

Переваги: • Урахування невизначеності • Робастність • Автоматичне регулювання • Приклади

📊 Прогнозування

Прогнозний розподіл: • P(y_new|data) • Новий спостереження • Урахування невизначеності • Властивості

Властивості: • Урахування параметрів • Урахування моделі • Калібрований • Приклади

2. Прийняття рішень

Баєсівський підхід до прийняття рішень:

📊 Баєсівські рішення

Метод: • Мінімізація очікуваних втрат • E[L(θ, a)|data] • a - дія • L - функція втрат

Властивості: • Оптимальність • Урахування невизначеності • Суб'єктивні переваги • Приклади

📊 Функції втрат

Типи: • Квадратична: L(θ, a) = (θ-a)² • Абсолютна: L(θ, a) = |θ-a| • 0-1: L(θ, a) = I(θ ≠ a) • Властивості

Властивості: • Вплив на рішення • Інтерпретація • Вибір функції • Приклади

📊 Робастність

Методи: • Мінімаксні рішення • Найгірший випадок • Консервативність • Властивості

Властивості: • Захист від помилок • Стабільність • Надійність • Приклади

BF₁₂ = P(data|H₁) / P(data|H₂)

📊 Марковські ланцюги Монте-Карло

1. Основні методи MCMC

Чисельні методи для баєсівського висновку:

📊 MCMC алгоритми

Метрополіс-Гастінгс:

Гіббс семплінг:

📊 Метрополіс-Гастінгс

Алгоритм: • 1. Пропонують θ* ~ q(θ*|θ) • 2. Приймають з ймовірністю α • 3. Переходять до θ* або θ • Властивості

Властивості: • Загальність • Гнучкість • Складність налаштування • Приклади

📊 Гіббс семплінг

Алгоритм: • 1. θ₁^{(t+1)} ~ π(θ₁|θ₂^{(t)}, θ₃^{(t)}, ...) • 2. θ₂^{(t+1)} ~ π(θ₂|θ₁^{(t+1)}, θ₃^{(t)}, ...) • 3. Повторюють для всіх параметрів • Властивості

Властивості: • Ефективність • Простота • Вимагає кон'югованість • Приклади

📊 HMC

Алгоритм: • Гамільтонівська динаміка • Моментум змінні • Інтеграція траєкторії • Властивості

Властивості: • Ефективність • Складність • Потрібні похідні • Приклади

2. Діагностика збіжності

Перевірка якості MCMC зразків:

📊 Trace plots

Метод: • Графік θ^{(t)} vs t • Візуальна перевірка • Змішування • Властивості

Критерії: • Хороше змішування • Відсутність трендів • Стабільність • Приклади

📊 R-hat статистика

Визначення: • R̂ = √(Var(θ)/E[Var(θ)]) • Між- та внутрішньоланцюгова дисперсія • Критерій збіжності • Властивості

Критерії: • R̂ < 1.1 - збіжність • R̂ > 1.1 - проблеми • Більше ланцюгів • Приклади

📊 Ефективний розмір

Визначення: • n_eff = n/(1 + 2∑ρ_k) • n - розмір зразка • ρ_k - автокореляція • Властивості

Критерії: • n_eff > 100 - добре • n_eff < 100 - проблеми • Більше ітерацій • Приклади

α = min(1, π(θ*)/π(θ) × q(θ|θ*)/q(θ*|θ))

📊 Застосування

1. Машинне навчання

Баєсівські методи в ML:

📊 Баєсівські нейронні мережі

Метод: • Априорні розподіли на вагах • Апостеріорні розподіли • Невизначеність • Властивості

Переваги: • Невизначеність • Регуляризація • Малий розмір даних • Приклади

📊 Гауссівські процеси

Метод: • Априорні на функціях • Коваріаційні функції • Невизначеність • Властивості

Переваги: • Невизначеність • Інтерпретація • Малі дані • Приклади

📊 Баєсівська оптимізація

Метод: • Гауссівські процеси • Acquisition функції • Ефективний пошук • Властивості

Переваги: • Ефективність • Невизначеність • Мало оцінок • Приклади

2. Дослідження

Застосування в наукових дослідженнях:

📊 Клінічні дослідження

Застосування: • Адаптивні дизайни • Баєсівські аналізи • Етичні аспекти • Властивості

Переваги: • Ефективність • Етика • Невизначеність • Приклади

📊 Екологія

Застосування: • Популяційна динаміка • Баєсівські моделі • Невизначеність • Властивості

Переваги: • Невизначеність • Складні моделі • Інтерпретація • Приклади

📊 Економіка

Застосування: • Макроекономічні моделі • Баєсівські VAR • Прогнозування • Властивості

Переваги: • Невизначеність • Складні моделі • Прогнозування • Приклади

🎯 Висновки

Баєсівська статистика надає потужний фреймворк для статистичного висновку, який дозволяє інтегрувати попередні знання з новими даними. Вона відрізняється від класичної статистики тим, що розглядає параметри як випадкові величини з априорними розподілами. Баєсівська статистика включає теорему Баєса як фундаментальну формулу, априорні розподіли для попередніх знань, апостеріорні розподіли для оновлених знань, баєсівський висновок для статистичних висновків, та методи Монте-Карло для чисельних обчислень. Баєсівська статистика має широке застосування в машинному навчанні, включаючи баєсівські нейронні мережі, гауссівські процеси та баєсівську оптимізацію, а також в дослідженнях, включаючи клінічні дослідження, екологію та економіку.

📚 Пов'язані теми

Математика

Статистика

Теорія ймовірності

Машинне навчання

Наука про дані

📊 Розділи баєсівської статистики

Теорема Баєса

Априорні розподіли

Апостеріорні розподіли

Баєсівський висновок

MCMC методи

🔬 Основні поняття

Теорема Баєса

Априорні розподіли

Апостеріорні розподіли

Функція правдоподібності

Баєсівський фактор

📊 Застосування

Машинне навчання

Дослідження

Медицина

Економіка

Екологія

📖 Рекомендована література

"Bayesian Data Analysis" - Gelman

"Pattern Recognition" - Bishop

"Machine Learning" - Murphy

"Statistical Rethinking" - McElreath

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spirograph і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.