Марковська ланцюгова монтівська оцінка: семплювання з розподілів, які не можна обчислити

Проблема: Розподіли, Які Можна Оцінити, Але Не Нормалізувати

У баєсівській статистиці, фізиці та машинному навчанні ви часто знаєте розподіл цільової функції лише як ненормалізовану функцію. Правило Бессі дає нам уявлення про апостеріорний розподіл як P(x) = f(x)/Z, де f(x) = ймовірність(x) * попередній(x) легко обчислюється для будь-якої окремої точки x, але нормалізуючий константа Z = ∫ f(x) dx вимагає інтегрування по всіх можливих значеннях x. У одній розмірності цей інтеграл може бути керованим; у сто або тисяч розмірах, типових для реальної моделі, це стає безглуздим сумою над астрономічно великим простором. Погірше, навіть якщо ви знали Z, ви все ще не могли легко отримати випадкові зразки з дивної форми розподілу високих розмірів за допомогою звичайних методів, таких як зворотне семплювання перетворення, яке потребує повної кумулятивної функції в закритому вигляді. MCMC одночасно обходить обидві проблеми: потрібно лише співвідношення f(x')/f(x) між двома точками для визначення того, як рухатися, тому нездійснену константу Z скасовують до того, як вона коли-небудь викликає проблеми, і це ніколи не вимагає інтегрування або нормалізації будь-чого глобально.

Випадковий шлях, який запам'ятовує, де він повинен бути

Марківська ланцюгова модель — це послідовність випадкових станів x0, x1, x2,... , де кожен наступний стан залежить лише від поточного, а не від всієї історії — безпам'ятний випадковий шлях, визначений правилом переходу T(x → x'). Ключовою технікою MCMC є проектування цього правила переходу так, щоб ланцюг мав унікальний стаціонарний розподіл, рівний цільовому P(x): коли ланцюг достатньо довго працює, частка часу, яку він проводить біля будь-якої точки x, збігається з P(x), незалежно від того, звідки він почав. Розподіл π є стаціонарним для ланцюга, якщо, після розподілу станів ланцюга відповідно до π, один крок не змінює розподіл: π(x') = ∑x π(x) T(x → x'). Уся техніка проектування алгоритму MCMC полягає у виборі правила переходу T, яке легко моделювати крок за кроком, але доведено, що воно має цільовий P як стаціонарний розподіл.

Алгоритм Ме́ттеса-Хастингса

Алгоритм Ме́ттеса-Хастингса строит такой переходный закон из двух простых ингредиентов, которые повторяются снова и снова. Во-первых, из текущего состояния x предлагается распределение Q(x'|x) — часто просто x плюс небольшая случайная дробина, как шаг в случайном направлении. Во-вторых, кандидат принимается или отклоняется согласно вероятности принятия: A = min(1, [P(x')Q(x|x')] / [P(x)Q(x'|x)]). Если распределение Q симметрично, то есть Q(x'|x) = Q(x|x'), (как с простой гауссовой дриблем), то эти термины отменяются и это сводится к исходному правилу Ме́ттеса: A = min(1, P(x')/P(x)). Поскольку P появляется только как отношение, его можно заменить ненормализованным f в его месте: A = min(1, f(x')/f(x)), и Z исчезает полностью. На практике это означает: предлагать ход; если он ведет к более высокой вероятности, всегда принимать его; если он ведет к меньшей вероятности, принимать его все равно с вероятностью равной отношению вероятностей, в противном случае оставаться на месте и снова считать текущее состояние. Это готовность иногда принимать худший ход является тем, что позволяет цепи вырваться из локальных гребней и исследовать весь ландшафт, а не жадно подниматься к ближайшему пику.

Чому детальний баланс гарантує правильність

Причина, по якій алгоритм Metropolis-Hastings гарантовано збігається до потрібного розподілу, а не якогось випадкового, що визначається механізмом пропозиції, називається детальною рівновагою (або зворотністю): P(x) T(x → x') = P(x') T(x' → x). Це означає, що потік ймовірності з x до x' точно балансує потік назад з x' до x для будь-якої пари станів. Правило прийняття A = min(1, [P(x')Q(x|x')]/[P(x)Q(x'|x)]) побудоване саме так, щоб сукупний перехід «пропонуй-і-приймай» задовольняв детальній рівновазі з конструкцією — це не наближення чи евристика, а рецепт, що доводиться міркуванням. Це відрізняє MCMC від наївного випадкового ходу: алгоритм не просто розумно блукає, він блукає математично підтвердженим способом, який повинен збігатися до цільового розподілу зі збільшенням кількості кроків.

Прогорка, змішування та реальні застосування

Збіг у теорії не означає миттєвий збіг на практиці. Початкові зразки спотворені там, де саме відбулося формування ланцюга, тому практики відкидають початковий проміжок, який називається «прогоркою», перш ніж довіряти зразкам. Декількі послідовних зразків також корельовані, оскільки кожен стан побудовано з попереднього за допомогою невеликого кроку, властивість, яка називається автокореляцією; ланцюг із високою автокореляцією вважається, що він повільно змішується, марнує зусилля, відвідуючи близькі стани замість широкого дослідження, і часто потребує тонкого налаштування (утримання лише кожного k-го зразка) або кращого підібраного кроку прийнятності для виправлення. Якщо крок занадто малий, майже кожен рух приймається, але ланцюг повільно рухається; якщо крок занадто великий, майже кожен рух відхиляється і ланцюг застрягає на місці — налаштування швидкості прийняття, часто орієнтованого на 20-50%, є основним практичним навичкою. Незважаючи на ці застереження, методи MCMC лежать в основі величезної кількості реальних робіт: висновок Байєса використовує їх для семплювання розподілів заднього плану над параметрами моделі, які не мають аналітичного розв’язку; статистична фізика використовує оригінальний алгоритм Metropolis для моделювання систем, таких як модель Ізинга при тепловій рівновазі; а навчання обмежених випадкових нейронних мереж (RBM) у машинному навчанні покладається на методи MCMC-засновані, такі як контрастивна дивергенція, для наближення нездійсненних очікувань, необхідних для навчання.

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Markov Chain Monte Carlo: Sampling from Distributions You Can't Compute і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.