UK 
EnglishТипова
Polski🎯 Метод Важливої Вибірки Монте-Карло
Ефективне оцінювання ймовірностей рідкісних подій. Важлива вибірка: E[f(X)] = E_q[f(X)w(X)], де w = p/q — відношення правдоподібності. Оптимальне q* ∝ |f|p.
Як це працює
Щоб оцінити P(X > t) для X ~ N(0,1) з великим t, наївний Монте-Карло рідко потрапляє в хвіст. Важлива вибірка бере вибірки зі зсунутого гаусівського розподілу q = N(μ_q, σ_q²), центрованого біля порогу t. Кожна вибірка x_i перезважується w(x_i) = p(x_i)/q(x_i):
Оптимальна пропозиція — q*(x) ∝ 1[x>t]·p(x) — обрізаний гаусівський розподіл на (t,∞). Зсув μ_q до t зменшує дисперсію на багато порядків для великого t. ESS (ефективний розмір вибірки) вимірює ефективність.
Часті запитання
Що таке важлива вибірка?
Важлива вибірка (IS) — техніка зменшення дисперсії, що робить вибірку з розподілу пропозиції q замість цільового p. Оцінювач перезважує вибірки за відношенням правдоподібності w(x) = p(x)/q(x).
Чому важлива вибірка корисна для рідкісних подій?
Для рідкісних подій (наприклад, P(X > 5) для стандартного нормального X) наївний Монте-Карло майже не бере вибірок із важливої хвостової області. IS зміщує пропозицію в область інтересу, збираючи значно більше релевантних вибірок.
Що таке відношення правдоподібності (важлива вага)?
Важлива вага дорівнює w(x) = p(x)/q(x). Кожна вибірка x, взята з q, множиться на w(x), щоб компенсувати вибірку з неправильного розподілу. Оцінювач IS дорівнює (1/N)Σ f(x_i)·w(x_i).
Який оптимальний розподіл пропозиції?
Оптимальна пропозиція — q*(x) ∝ |f(x)|·p(x), що робить дисперсію оцінювача IS нульовою. На практиці точний q* невідомий, але його можна наблизити зсувом чи масштабуванням для покриття важливої області.
Що таке самонормалізована важлива вибірка?
Самонормалізована IS ділить на суму ваг: μ̂_SN = Σ f(x_i)w(x_i) / Σ w(x_i). Це робить оцінювач узгодженим, навіть коли q відомий лише з точністю до нормалізаційної сталої, але вносить невелике зміщення.
Що таке ефективний розмір вибірки (ESS) в IS?
ESS = (Σw_i)² / Σw_i² вимірює, скільки еквівалентних незалежних однаково розподілених вибірок з p відповідає оцінці IS. ESS ≈ N означає дуже низьку дисперсію; ESS ≪ N вказує на виродження ваг.
Що спричиняє виродження ваг?
Виродження ваг відбувається, коли кілька вибірок отримують майже всю вагу. Це трапляється, коли p має важчі хвости, ніж q, спричиняючи екстремальні ваги для окремих вибірок у неузгодженій області.
Як важлива вибірка використовується в машинному навчанні?
IS використовується у варіаційному висновуванні (межа IWAE), методах градієнта політики (навчання поза політикою), баєсівському виборі моделей та послідовному Монте-Карло (фільтри часток).
Який коефіцієнт зменшення дисперсії дає IS?
IS зменшує дисперсію, коли Var_q[f·w] < Var_p[f]. Відношення дисперсій дорівнює ESS/N. Для оптимального q* дисперсія дорівнює 0. Для гаусівської пропозиції, зміщеної для покриття рідкісної області, зменшення дисперсії може бути експоненційним відносно порогу.
Що таке стратифікована вибірка та контрольні змінні?
Стратифікована вибірка ділить область вхідних даних на страти й вибирає з кожної пропорційно, зменшуючи дисперсію. Контрольні змінні віднімають корельовану функцію з відомим сподіванням, щоб зменшити дисперсію оцінювача. Обидва методи доповнюють важливу вибірку.
Про цю симуляцію
Ця симуляція оцінює ймовірність рідкісної події P(X>t) для стандартного нормального X двома способами поруч: наївний Монте-Карло, що бере вибірку прямо з N(0,1) і рідко потрапляє за поріг, та важлива вибірка, що бере вибірку зі зсунутої пропозиції q=N(μ_q,σ_q²), центрованої біля порогу, і перезважує кожну вибірку відношенням правдоподібності w(x)=p(x)/q(x) для корекції зміщення.
🔬 Що показано
Накладені криві цільової густини p(x) і густини пропозиції q(x) із заштрихованою хвостовою областю, розсіювання вибіркових точок, забарвлених за їхньою важливою вагою, а також панель статистики, що порівнює справжню, наївну та IS оцінки ймовірності разом зі стандартними похибками й ефективним розміром вибірки.
🎮 Як користуватись
Задайте поріг рідкісної події t, зсув пропозиції IS μ_q та ширину σ_q, і кількість вибірок N повзунками, натисніть Resample для перемальовування, і натисніть Toggle View (або клавішу I), щоб перемкнутися на впорядковану стовпчикову діаграму сирих важливих ваг.
💡 Чи знали ви?
Задайте поріг t=5σ або вище й спостерігайте, як оцінка Naive MC згортається точно до 0.000e+0 незалежно від кількості доданих вибірок — для N(0,1) P(X>5) становить приблизно 1 до 3,5 мільйона, тож навіть 10 000 наївних вибірок практично ніколи не потраплять у хвіст, тоді як зсув μ_q близько до 5 дозволяє важливій вибірці точно оцінити ту саму крихітну ймовірність із частки вибірок.
Часті запитання
Чому оцінка Naive MC часто показує точно 0, тоді як IS показує реальне число?
Наївний Монте-Карло рахує, скільки з N вибірок з N(0,1) насправді потрапляють вище порогу t; для великого t ця ймовірність астрономічно мала, тож при кількох тисячах вибірок кількість дуже ймовірно дорівнює точно нулю — важлива вибірка натомість бере вибірку з q, центрованої біля t, тож майже кожна вибірка потрапляє в область інтересу й перезважується вниз w(x), даючи корисну ненульову оцінку.
Що відбувається, якщо задати μ_q далеко від порогу t?
Якщо центр пропозиції μ_q віддаляється від t, вибірки з q перестають ефективно потрапляти в хвостову область за t, а ті нечисленні, що потрапляють, несуть екстремальні важливі ваги — саме це виродження ваг покликана виявити стовпчикова діаграма Toggle View, де жменька вибірок несе майже всю статистичну вагу.