🎯 Метод Важливої Вибірки Монте-Карло

Ефективне оцінювання ймовірностей рідкісних подій. Важлива вибірка: E[f(X)] = E_q[f(X)w(X)], де w = p/q — відношення правдоподібності. Оптимальне q* ∝ |f|p мінімізує дисперсію. Порівняння наївного vs IS.

Теорія ймовірностейІнтерактивний
p(x)=N(0,1) · q(x)=IS пропозиція · важлива область · R нова вибірка · I переключити

Як це працює

Для оцінювання P(X > t) при великому t для X ~ N(0,1) наївний Монте-Карло рідко потрапляє в хвіст. Важлива вибірка відбирає зразки зі зміщеної гауссіани q = N(μ_q, σ_q²), центрованої поблизу порогу t. Кожен зразок x_i перезважується на w(x_i) = p(x_i)/q(x_i):

p(x) = N(x; 0, 1) (цільовий розподіл) q(x) = N(x; μ_q, σ_q²) (пропонований розподіл) w(x) = p(x)/q(x) (відношення правдоподібності) IS оцінка: P̂ = (1/N) Σ 1[x_i>t] · w(x_i) x_i ~ q ESS = (Σw_i)² / Σw_i² Var(P̂_IS) ≈ Var_q[1[x>t]·w] / N

Оптимальна пропозиція q*(x) ∝ 1[x>t]·p(x) — усічена гауссіана на (t,∞). Зсув μ_q до t зменшує дисперсію на кілька порядків при великому t. ESS (ефективний розмір вибірки) вимірює ефективність.

Часті запитання

Що таке важлива вибірка?

Важлива вибірка (IS) — техніка зменшення дисперсії, що відбирає зразки з пропонованого розподілу q замість цільового p. Оцінювач перезважує зразки відношенням правдоподібності w(x) = p(x)/q(x).

Чому важлива вибірка корисна для рідкісних подій?

Для рідкісних подій наївний Монте-Карло майже не потрапляє в хвіст розподілу. IS зміщує пропозицію до важливої ділянки, збираючи набагато більше відповідних зразків і різко зменшуючи дисперсію.

Що таке відношення правдоподібності (вага важливості)?

Вага важливості — w(x) = p(x)/q(x). Кожен зразок x з q множиться на w(x) для компенсації відбору з невірного розподілу. IS-оцінювач: (1/N)Σ f(x_i)·w(x_i).

Який оптимальний пропонований розподіл?

Оптимальна пропозиція q*(x) ∝ |f(x)|·p(x) — дає IS-оцінювач з нульовою дисперсією. На практиці оптимальне q* невідоме точно, але може бути наближене зсувом/масштабуванням для охоплення важливої ділянки.

Що таке самонормована важлива вибірка?

Самонормована IS ділить на суму ваг: μ̂_SN = Σ f(x_i)w(x_i) / Σ w(x_i). Це робить оцінювач узгодженим навіть коли q відома лише з точністю до константи нормування, але вводить невелике зміщення.

Що таке ефективний розмір вибірки (ESS) у IS?

ESS = (Σw_i)² / Σw_i² вимірює, скільком еквівалентним зразкам з p відповідає IS-оцінювач. ESS ≈ N означає малу дисперсію; ESS ≪ N свідчить про виродження ваг.

Що спричиняє виродження ваг?

Виродження ваг виникає, коли кілька зразків отримують майже всю вагу. Це трапляється, коли p має важчі хвости, ніж q, що призводить до екстремальних ваг для рідкісних зразків.

Як важлива вибірка використовується в машинному навчанні?

IS використовується у варіаційному виведенні (IWAE), навчанні з підкріпленням (позапланове навчання), байєсівському відборі моделей і послідовному Монте-Карло (фільтри частинок).

Який фактор зменшення дисперсії у IS?

IS зменшує дисперсію, коли Var_q[f·w] < Var_p[f]. Відношення дисперсій дорівнює ESS/N. Для оптимального q* дисперсія нульова. Для зміщеної гауссіани зменшення може бути експоненційним за порогом.

Що таке стратифікована вибірка та керуючі змінні?

Стратифікована вибірка ділить область на страти і пропорційно відбирає зразки. Керуючі змінні віднімають корельовану функцію з відомим сподіванням для зменшення дисперсії. Обидва методи доповнюють важливу вибірку.

Про цю симуляцію

Ця симуляція оцінює рідкісну ймовірність події P(X>t) для стандартного нормального X двома способами поруч: наївний метод Монте-Карло, який вибирає напряму з N(0,1) і рідко потрапляє за поріг, і importance sampling, який вибирає зі зсунутого пропозиційного розподілу q=N(μ_q,σ_q²), центрованого біля порогу, і перезважує кожну вибірку коефіцієнтом правдоподібності w(x)=p(x)/q(x), щоб виправити зсув.

🔬 Що показано

Накладені криві щільності цільового p(x) і пропозиційного q(x) розподілів із затіненою хвостовою зоною, розсіювання вибіркових точок, забарвлених за їхньою вагою важливості, а також панель статистики, що порівнює справжню, наївну та IS-оцінки ймовірності разом зі стандартними похибками й ефективним розміром вибірки.

🎮 Як користуватись

Встановіть поріг рідкісної події t, зсув μ_q і ширину σ_q пропозиції IS та кількість вибірок N повзунками, натисніть "Перевибрати" для перемальовування, і натисніть "Перемкнути вигляд" (або клавішу I), щоб перейти до сортованої стовпчикової діаграми сирих ваг важливості.

💡 Чи знали ви?

Встановіть поріг на t=5σ чи вище й подивіться, як статистика наївної оцінки Монте-Карло падає рівно до 0.000e+0 незалежно від кількості вибірок — для N(0,1) P(X>5) становить приблизно 1 до 3.5 мільйона, тож навіть 10 000 наївних вибірок практично ніколи не потраплять у хвіст, тоді як зсув μ_q ближче до 5 дозволяє importance sampling точно оцінити ту саму крихітну ймовірність із набагато меншої кількості вибірок.

Часті запитання

Чому наївна оцінка Монте-Карло часто показує рівно 0, а IS — реальне число?

Наївний метод Монте-Карло рахує, скільки з N вибірок з N(0,1) насправді потрапляють вище порогу t; для великого t ця ймовірність астрономічно мала, тож при кількох тисячах вибірок кількість дуже ймовірно рівно нуль — importance sampling натомість вибирає з q, центрованого біля t, тож майже кожна вибірка потрапляє в область інтересу і перезважується вниз коефіцієнтом w(x), даючи придатну ненульову оцінку.

Що станеться, якщо встановити μ_q далеко від порогу t?

Якщо центр пропозиції μ_q віддаляється далеко від t, вибірки з q перестають ефективно потрапляти в хвостову область за t, а ті нечисленні, що потрапляють, несуть екстремальні ваги важливості — саме це вироджування ваг і показує стовпчикова діаграма в режимі "Перемкнути вигляд", де жменька вибірок несе майже всю статистичну вагу.

Чому ESS (ефективний розмір вибірки) іноді показує набагато менше за N?

ESS = (Σw_i)²/Σw_i² зменшується до 1, коли ваги важливості стають дуже нерівними — невідповідність між тим, куди q насправді розміщує свої вибірки, і тим, де живе хвостова подія — тож низький ESS відносно N є прямою, обчислюваною ознакою того, що обрана пропозиція погано відповідає цільовій області.

Чому збільшення σ_q іноді шкодить, а не допомагає?

Ширша пропозиція розподіляє вибірки на більший діапазон, розбавляючи кількість тих, що насправді потрапляють біля порогу, і збільшуючи розкид ваг важливості для тих, що потрапляють — ідеальне σ_q зазвичай достатньо вузьке, щоб концентрувати вибірки прямо навколо t, не колапсуючи до майже детермінованої точкової маси.

Чи існує математично оптимальний вибір пропозиції q?

Так — пропозиція з нульовою дисперсією це q*(x) ∝ 1[x>t]·p(x), гаусіан, обрізаний рівно до хвостової області вище t; зсунутий гаусів пропозиційний розподіл цієї симуляції — практичне наближення до цього ідеалу, і встановлення μ_q близько до t (з помірним σ_q) — найближче, чого можна досягти, використовуючи необрізаний нормальний розподіл.