DE 
English
Українська
Polski
Español
日本語
Italiano
Português (BR)
Français
العربية
Nederlands
中文
한국어
हिन्दी
Türkçe
Tiếng Việt
Русский
Bahasa Indonesia
فارسی
বাংলা
ไทย
Filipino
Kiswahili
اردو
Bahasa Melayu
தமிழ்
עברית
Ελληνικά
ਪੰਜਾਬੀ
አማርኛ
မြန်မာဘာသာ
ខ្មែរ
ქართული
नेपाली
Монгол хэл
Հայերեն
සිංහල
ລາວ
Čeština
Română
Magyar
Български
Svenska
Dansk
Suomi
Norsk
Slovenčina
Hrvatski
Српски
Slovenščina
Lietuvių
Latviešu
Eesti
Íslenska
Shqip
Македонски
Bosanski
Malti
Azərbaycanca
Қазақша
O'zbekcha
Тоҷикӣ
Кыргызча🎯 Monte-Carlo-Importance-Sampling
Schätze Wahrscheinlichkeiten seltener Ereignisse effizient. Importance Sampling: E[f(X)] = E_q[f(X)w(X)], wobei w = p/q das Likelihood-Verhältnis ist. Das optimale q* ∝ |f|p minimiert die Varianz. Vergleiche naiv vs. IS.
Wie es funktioniert
Um P(X > t) für X ~ N(0,1) bei großem t zu schätzen, trifft naives Monte Carlo den Ausläufer nur selten. Importance Sampling zieht Stichproben aus einer verschobenen Normalverteilung q = N(μ_q, σ_q²), zentriert nahe dem Schwellenwert t. Jede Stichprobe x_i wird mit w(x_i) = p(x_i)/q(x_i) neu gewichtet:
Der optimale Vorschlag ist q*(x) ∝ 1[x>t]·p(x) — eine auf (t,∞) trunkierte Normalverteilung. Das Verschieben von μ_q zu t reduziert die Varianz bei großem t um viele Größenordnungen. Der ESS (effektive Stichprobenumfang) misst die Effizienz.
Häufig gestellte Fragen
Was ist Importance Sampling?
Importance Sampling (IS) ist eine Technik zur Varianzreduktion, bei der aus einer Vorschlagsverteilung q statt aus der Zielverteilung p gezogen wird. Der Schätzer gewichtet die Stichproben mit dem Likelihood-Verhältnis w(x) = p(x)/q(x) neu.
Warum ist Importance Sampling nützlich für seltene Ereignisse?
Bei seltenen Ereignissen (z. B. P(X > 5) für eine standardnormalverteilte X) zieht naives Monte Carlo fast keine Stichproben aus der wichtigen Ausläuferregion. IS verschiebt den Vorschlag in den interessierenden Bereich und sammelt so viel mehr relevante Stichproben.
Was ist das Likelihood-Verhältnis (Importance-Gewicht)?
Das Importance-Gewicht ist w(x) = p(x)/q(x). Jede aus q gezogene Stichprobe x wird mit w(x) multipliziert, um das Ziehen aus der falschen Verteilung auszugleichen. Der IS-Schätzer ist (1/N)Σ f(x_i)·w(x_i).
Was ist die optimale Vorschlagsverteilung?
Der optimale Vorschlag ist q*(x) ∝ |f(x)|·p(x), wodurch der IS-Schätzer die Varianz null erhält. In der Praxis ist das optimale q* nicht exakt bekannt, kann aber durch Verschieben/Skalieren angenähert werden, um den wichtigen Bereich abzudecken.
Was ist selbstnormalisiertes Importance Sampling?
Selbstnormalisiertes IS dividiert durch die Summe der Gewichte: μ̂_SN = Σ f(x_i)w(x_i) / Σ w(x_i). Das macht den Schätzer auch dann konsistent, wenn q nur bis auf eine Normalisierungskonstante bekannt ist, führt aber zu einer kleinen Verzerrung.
Was ist der effektive Stichprobenumfang (ESS) bei IS?
ESS = (Σw_i)² / Σw_i² misst, wie vielen äquivalenten unabhängig und identisch verteilten Stichproben aus p die IS-Schätzung entspricht. ESS ≈ N bedeutet sehr geringe Varianz; ESS ≪ N deutet auf Gewichtsentartung hin.
Was verursacht Gewichtsentartung?
Gewichtsentartung tritt auf, wenn wenige Stichproben fast das gesamte Gewicht erhalten. Sie geschieht, wenn p schwerere Ausläufer als q hat, was zu extremen Gewichten für gelegentliche Stichproben in der nicht passenden Region führt.
Wie wird Importance Sampling im maschinellen Lernen eingesetzt?
IS wird in der Variationsinferenz (IWAE-Schranke), bei Policy-Gradient-Methoden (Off-Policy-Lernen), bei der bayesschen Modellauswahl und beim sequenziellen Monte Carlo (Partikelfilter) eingesetzt.
Wie groß ist der Varianzreduktionsfaktor von IS?
IS reduziert die Varianz, wenn Var_q[f·w] < Var_p[f] gilt. Das Varianzverhältnis entspricht ESS/N. Für das optimale q* ist die Varianz 0. Für eine verschobene Normalverteilung, die den seltenen Bereich abdeckt, kann die Varianzreduktion exponentiell im Schwellenwert sein.
Was sind geschichtete Stichproben und Kontrollvariaten?
Geschichtete Stichproben (Stratified Sampling) teilen den Eingabebereich in Schichten und ziehen aus jeder proportional, was die Varianz reduziert. Kontrollvariaten subtrahieren eine korrelierte Funktion mit bekanntem Erwartungswert, um die Schätzervarianz zu reduzieren. Beide ergänzen Importance Sampling.
Über diese Simulation
Diese Simulation schätzt die Wahrscheinlichkeit des seltenen Ereignisses P(X>t) für eine standardnormalverteilte X auf zwei Arten nebeneinander: naives Monte Carlo, das direkt aus N(0,1) zieht und selten hinter dem Schwellenwert landet, und Importance Sampling, das aus einem verschobenen Vorschlag q=N(μ_q,σ_q²) nahe dem Schwellenwert zieht und jede Stichprobe mit dem Likelihood-Verhältnis w(x)=p(x)/q(x) neu gewichtet, um die Verzerrung zu korrigieren.
🔬 Was gezeigt wird
Überlagerte Kurven der Zieldichte p(x) und der Vorschlagsdichte q(x) mit schattiertem Ausläuferbereich, ein Streudiagramm der gezogenen Punkte, eingefärbt nach ihrem Importance-Gewicht, sowie ein Statistikfeld, das wahre, naive und IS-Wahrscheinlichkeitsschätzungen zusammen mit ihren Standardfehlern und dem effektiven Stichprobenumfang vergleicht.
🎮 Bedienung
Stelle den Schwellenwert t für das seltene Ereignis, die Verschiebung μ_q und Breite σ_q des IS-Vorschlags sowie die Stichprobenzahl N mit den Reglern ein, klicke auf Neu abtasten zum Neuzeichnen, und drücke Ansicht wechseln (oder die Taste I), um zu einem sortierten Balkendiagramm der rohen Importance-Gewichte zu wechseln.
💡 Wusstest du schon?
Stelle den Schwellenwert auf t=5σ oder höher und beobachte, wie die naive MC-Schätzung immer auf genau 0,000e+0 zusammenfällt, egal wie viele Stichproben du hinzufügst — bei N(0,1) liegt P(X>5) bei etwa 1 zu 3,5 Millionen, sodass selbst ein Durchlauf mit 10.000 naiven Stichproben so gut wie nie im Ausläufer landet, während eine Verschiebung von μ_q auf etwa 5 es Importance Sampling erlaubt, dieselbe winzige Wahrscheinlichkeit aus einem Bruchteil der Stichproben genau zu schätzen.
Häufig gestellte Fragen
Warum zeigt die naive MC-Schätzung oft genau 0, während IS eine echte Zahl zeigt?
Naives Monte Carlo zählt, wie viele von N Ziehungen aus N(0,1) tatsächlich über dem Schwellenwert t landen; bei großem t ist diese Wahrscheinlichkeit astronomisch klein, sodass die Zählung bei einigen tausend Stichproben sehr wahrscheinlich genau null ergibt — Importance Sampling zieht stattdessen aus q, zentriert nahe t, sodass fast jede Stichprobe im interessierenden Bereich landet und durch w(x) nach unten gewichtet wird, was eine brauchbare Schätzung ungleich null liefert.
Was passiert, wenn ich μ_q weit vom Schwellenwert t entfernt setze?
Wenn sich das Zentrum μ_q des Vorschlags weit von t entfernt, landen Stichproben aus q nicht mehr effizient im Ausläuferbereich hinter t, und die wenigen, die es doch tun, tragen extreme Importance-Gewichte — genau das ist die Gewichtsentartung, die das Balkendiagramm von Ansicht wechseln aufdecken soll, wo eine Handvoll Stichproben fast das gesamte statistische Gewicht trägt.
Warum zeigt der ESS (effektiver Stichprobenumfang) manchmal viel weniger als N an?
ESS = (Σw_i)²/Σw_i² schrumpft gegen 1, sobald die Importance-Gewichte stark ungleich werden — eine Diskrepanz zwischen dem Ort, an dem q tatsächlich seine Stichproben platziert, und dem Ort, an dem das Ausläuferereignis liegt — daher ist ein niedriger ESS relativ zu N ein direktes, berechenbares Warnsignal dafür, dass dein gewählter Vorschlag nicht gut zur Zielregion passt.
Warum schadet eine Erhöhung von σ_q manchmal, statt zu helfen?
Ein breiterer Vorschlag verteilt die Stichproben über einen größeren Bereich, wodurch weniger von ihnen tatsächlich nahe dem Schwellenwert landen und die Streuung der Importance-Gewichte für diejenigen zunimmt, die es doch tun — der ideale σ_q ist meist eng genug, um Stichproben direkt um t herum zu konzentrieren, ohne zu einer nahezu deterministischen Punktmasse zu kollabieren.
Gibt es eine mathematisch optimale Wahl für den Vorschlag q?
Ja — der Vorschlag mit Varianz null ist q*(x) ∝ 1[x>t]·p(x), eine auf genau den Ausläuferbereich über t trunkierte Normalverteilung; der verschobene Normalverteilungsvorschlag dieser Simulation ist eine praktische Annäherung an dieses Ideal, und μ_q nahe an t zu setzen (mit moderatem σ_q) kommt dem mit einer nicht trunkierten Normalverteilung am nächsten.
Schätze Wahrscheinlichkeiten seltener Ereignisse mit Importance Sampling: verschiebe die Vorschlagsverteilung und vergleiche die Varianz mit naivem Monte Carlo.
3D · Three.js-/WebGL-Renderer · Ziel 60 FPS · läuft vollständig clientseitig, keine Installation nötig