Startseite▸Informationstheorie & Codierung▸Gegenseitige Information: Gemeinsame Information zwischen Variablen

🔀 Gegenseitige Information: Gemeinsame Information zwischen Variablen

Bearbeite live eine gemeinsame Wahrscheinlichkeitstabelle und beobachte, wie H(X), H(Y), die Verbundentropie H(X,Y) und die gegenseitige Information I(X;Y) sich in Echtzeit aktualisieren, dargestellt als Entropie-Venn-Diagramm aus sich überlappenden Kreisen.

Informationstheorie & Codierung2DFortgeschritten60 FPS

Über die gegenseitige Information

Die gegenseitige Information I(X;Y) ist die exakte, informationstheoretische Antwort auf die Frage „Wie viel sagt mir das Wissen über Y über X?" Sie ist definiert als I(X;Y) = H(X) + H(Y) − H(X,Y), wobei H(X) und H(Y) die Shannon-Entropien der beiden Randverteilungen sind und H(X,Y) die Entropie ihrer gemeinsamen Verteilung ist. Äquivalent dazu ist I(X;Y) = Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))], die Kullback-Leibler-Divergenz zwischen der wahren gemeinsamen Verteilung und der Produkt-der-Randverteilungen, die gelten würde, wenn X und Y unabhängig wären. Da diese Divergenz genau dann null ist, wenn die Verbundverteilung dem Produkt der Randverteilungen entspricht, ist die gegenseitige Information nachweislich genau dann null, wenn X und Y statistisch unabhängig sind — und sie wächst, je stärker die Variablen voneinander abhängen, bis maximal min(H(X),H(Y)), wenn eine Variable die andere vollständig bestimmt.

In dieser Simulation bearbeitest du eine echte gemeinsame Wahrscheinlichkeitstabelle P(X,Y), indem du ihre Zellen ziehst; die Randverteilungen P(X) und P(Y) werden live neu berechnet, indem Zeilen und Spalten summiert werden, und H(X), H(Y), die Verbundentropie H(X,Y) sowie I(X;Y) werden bei jeder Änderung neu aus den Definitionen berechnet. Die beiden sich überlappenden Kreise sind ein Standard-Lehrmittel der Informationstheorie: Die Kreisflächen stellen H(X) und H(Y) dar, und die Überlappungsfläche stellt I(X;Y) dar — eine direkte visuelle Darstellung der Identität I(X;Y) = H(X) + H(Y) − H(X,Y). Gegenseitige Information liegt der Merkmalsauswahl im maschinellen Lernen zugrunde (Merkmale werden danach eingestuft, wie viel gegenseitige Information sie über das Ziel-Label tragen), und die Neurowissenschaft nutzt sie, um zu quantifizieren, wie viel das Feuerungsmuster eines Neurons über einen Reiz verrät.

Häufig gestellte Fragen

Was genau misst die gegenseitige Information?

Die gegenseitige Information I(X;Y) misst in Bits, wie stark die Unsicherheit über X abnimmt, sobald man den Wert von Y kennt (und symmetrisch, wie stark die Unsicherheit über Y abnimmt, sobald man X kennt). Es handelt sich um eine echte, wohldefinierte Größe, die direkt aus der Entropie abgeleitet ist, nicht um einen ad-hoc-Korrelationswert, und sie erfasst jede Art von statistischer Abhängigkeit — linear oder nicht.

Warum ist I(X;Y) genau null, wenn X und Y unabhängig sind?

Sind X und Y unabhängig, gilt per Definition p(x,y) = p(x)p(y) für jedes Paar, sodass die Verbundentropie H(X,Y) = H(X) + H(Y) erfüllt. Setzt man dies in I(X;Y) = H(X) + H(Y) − H(X,Y) ein, ergibt sich genau null. Äquivalent dazu hat in der KL-Divergenz-Form Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))] jeder Logarithmus-Term den Wert log₂(1) = 0, sodass die Summe null ist — dies ist eine beweisbare Tatsache aus der Definition, keine Näherung.

Was stellt das Venn-Diagramm der sich überlappenden Kreise eigentlich dar?

Es ist eine übliche, korrekte pädagogische Visualisierung der Entropiezerlegung. Kreis A hat eine Fläche proportional zu H(X) und Kreis B eine Fläche proportional zu H(Y); ihre Vereinigung hat eine Fläche proportional zur Verbundentropie H(X,Y), und ihre Schnittmenge hat eine Fläche proportional zur gegenseitigen Information I(X;Y). Dies entspricht genau der Algebra: Fläche(A) + Fläche(B) − Fläche(A∩B) = Fläche(A∪B) spiegelt H(X) + H(Y) − I(X;Y) = H(X,Y) wider.

Kann gegenseitige Information jemals negativ sein?

Nein. Die gegenseitige Information ist für jede gemeinsame Verteilung stets ≥ 0, eine direkte Konsequenz der Jensen-Ungleichung, angewandt auf die KL-Divergenz-Definition (die KL-Divergenz zwischen zwei beliebigen Wahrscheinlichkeitsverteilungen ist nie negativ). Sie ist nur für unabhängige Variablen gleich null und strikt positiv, sobald irgendeine statistische Abhängigkeit besteht.

Wie wird gegenseitige Information bei der Merkmalsauswahl im maschinellen Lernen eingesetzt?

Filterbasierte Methoden zur Merkmalsauswahl berechnen I(Merkmal; Ziel-Label) für jedes Kandidatenmerkmal und stufen die Merkmale nach diesem Wert ein, wobei die Merkmale beibehalten werden, die die meiste Information über das Label tragen. Im Gegensatz zu einem linearen Korrelationskoeffizienten erkennt gegenseitige Information auch nicht-lineare und nicht-monotone Abhängigkeiten, was sie zu einem beliebten modellunabhängigen Screening-Werkzeug vor dem Training macht.

Wie nutzt die Neurowissenschaft gegenseitige Information?

Studien zur neuronalen Kodierung berechnen die gegenseitige Information zwischen einem sensorischen Reiz und der Spike-Folge eines Neurons (oder einer Populationsantwort), um in Bits zu quantifizieren, wie viel die Antwort tatsächlich über den Reiz verrät. Dies liefert eine obere Schranke dafür, wie gut ein idealer Decoder den Reiz aus der neuronalen Aktivität rekonstruieren könnte, unabhängig von einem angenommenen Decodierungsalgorithmus.

Was ist normalisierte gegenseitige Information und wozu dient sie?

Die rohe gegenseitige Information wird in Bits gemessen, und ihr Maximalwert hängt von den Entropien der beiden beteiligten Variablen ab, was Werte über verschiedene Variablenpaare hinweg schwer vergleichbar macht. Normalisierte gegenseitige Information teilt I(X;Y) durch einen Referenzwert wie min(H(X),H(Y)) und erzeugt so ein Abhängigkeitsmaß, das immer im Bereich [0,1] liegt: 0 bei Unabhängigkeit und 1, wenn eine Variable die andere vollständig bestimmt.

Wie hängt gegenseitige Information mit bedingter Entropie und KL-Divergenz zusammen?

Gegenseitige Information hat drei äquivalente Formen: I(X;Y) = H(X) + H(Y) − H(X,Y) = H(X) − H(X|Y) = D_KL(P(X,Y) ‖ P(X)P(Y)). Die mittlere Form besagt, dass I(X;Y) genau angibt, um wie viel die bedingte Entropie H(X|Y) — die verbleibende Unsicherheit über X nach Beobachtung von Y — kleiner ausfällt als die unbedingte Entropie H(X). Die KL-Divergenz-Form fasst gegenseitige Information als buchstäbliches Maß dafür auf, wie weit die reale gemeinsame Verteilung von der Unabhängigkeitsannahme entfernt ist.

⚙ Unter der Haube

Bearbeite live eine gemeinsame Wahrscheinlichkeitstabelle und beobachte, wie H(X), H(Y), die Verbundentropie und die gegenseitige Information sich in Echtzeit aktualisieren, dargestellt als Entropie-Venn-Diagramm.

information-theorymutual-informationentropyjoint-distributionkl-divergenceprobability

2D · HTML5 Canvas 2D · 60 FPS Ziel · läuft vollständig clientseitig, keine Installation nötig