PL 
EnglishDomyślny
Українська🔀 Informacja wzajemna: dzielona informacja między zmiennymi
Edytuj tabelę prawdopodobieństwa łącznego na żywo i obserwuj, jak H(X), H(Y), entropia łączna H(X,Y) i informacja wzajemna I(X;Y) aktualizują się w czasie rzeczywistym, wizualizowane jako diagram Venna entropii z nakładającymi się okręgami.
O tej symulacji
Edytuj tabelę prawdopodobieństwa łącznego na żywo i obserwuj, jak H(X), H(Y), entropia łączna H(X,Y) i informacja wzajemna I(X;Y) aktualizują się w czasie rzeczywistym, wizualizowane jako diagram Venna entropii z nakładającymi się okręgami.
📖 O symulacji
Informacja wzajemna I(X;Y) to dokładna, teorio-informacyjna odpowiedź na pytanie 'ile mówi mi znajomość Y o X?' Definiuje się ją jako I(X;Y) = H(X) + H(Y) − H(X,Y), gdzie H(X) i H(Y) to entropie Shannona dwóch rozkładów brzegowych, a H(X,Y) to entropia ich rozkładu łącznego. Równoważnie, I(X;Y) = Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))], co jest dywergencją Kullbacka-Leiblera między prawdziwym rozkładem łącznym a rozkładem iloczynu brzegowych, który obowiązywałby, gdyby X i Y były niezależne. Ponieważ ta dywergencja jest zerem dokładnie wtedy, gdy rozkład łączny równa się iloczynowi brzegowych, informacja wzajemna jest dowodliwie zerem wtedy i tylko wtedy, gdy X i Y są statystycznie niezależne — i rośnie w miarę jak zmienne stają się bardziej zależne, ograniczona przez min(H(X),H(Y)), gdy jedna zmienna w pełni determinuje drugą.
💡 Zastosowania
W tej symulacji edytujesz prawdziwą tabelę prawdopodobieństwa łącznego P(X,Y), przeciągając jej komórki; rozkłady brzegowe P(X) i P(Y) są przeliczane na żywo przez sumowanie wierszy i kolumn, a H(X), H(Y), entropia łączna H(X,Y) i I(X;Y) są przeliczane z definicji przy każdej zmianie. Dwa nakładające się okręgi to standardowe narzędzie dydaktyczne teorii informacji: pola okręgów reprezentują H(X) i H(Y), a pole nakładania reprezentuje I(X;Y) — bezpośredni wizualny odczyt tożsamości I(X;Y) = H(X) + H(Y) − H(X,Y). Informacja wzajemna leży u podstaw selekcji cech w uczeniu maszynowym (cechy są rankingowane według tego, ile informacji wzajemnej niosą o etykiecie docelowej), a neuronauka używa jej do kwantyfikacji, ile wzorzec wyładowań neuronu ujawnia o bodźcu.
Najczęściej zadawane pytania
Co dokładnie mierzy informacja wzajemna?
Informacja wzajemna I(X;Y) mierzy, w bitach, jak bardzo maleje niepewność co do X, gdy poznasz wartość Y (i symetrycznie, jak bardzo maleje niepewność co do Y, gdy poznasz X). To prawdziwa, dobrze zdefiniowana wielkość wyprowadzona bezpośrednio z entropii, a nie doraźna ocena korelacji, i wychwytuje ona każdy rodzaj zależności statystycznej — liniowej lub nie.
Dlaczego I(X;Y) jest dokładnie zerem, gdy X i Y są niezależne?
Jeśli X i Y są niezależne, to z definicji p(x,y) = p(x)p(y) dla każdej pary, więc entropia łączna spełnia H(X,Y) = H(X) + H(Y). Podstawiając do I(X;Y) = H(X) + H(Y) − H(X,Y) daje dokładnie zero. Równoważnie, postać dywergencji KL Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))] ma każdy człon logarytmiczny równy log₂(1) = 0, więc suma wynosi zero — to dowodliwy fakt wynikający z definicji, a nie przybliżenie.
Co dokładnie przedstawia diagram Venna z nakładającymi się okręgami?
To standardowa, poprawna wizualizacja pedagogiczna dekompozycji entropii. Okrąg A ma pole proporcjonalne do H(X), a okrąg B ma pole proporcjonalne do H(Y); ich suma ma pole proporcjonalne do entropii łącznej H(X,Y), a ich przecięcie ma pole proporcjonalne do informacji wzajemnej I(X;Y). Odpowiada to dokładnie algebrze: pole(A) + pole(B) − pole(A∩B) = pole(A∪B) odzwierciedla H(X) + H(Y) − I(X;Y) = H(X,Y).
Czy informacja wzajemna może kiedykolwiek być ujemna?
Nie. Informacja wzajemna jest zawsze ≥ 0 dla każdego rozkładu łącznego, bezpośrednia konsekwencja nierówności Jensena zastosowanej do definicji dywergencji KL (dywergencja KL między dowolnymi dwoma rozkładami prawdopodobieństwa nigdy nie jest ujemna). Równa się zero tylko dla zmiennych niezależnych i jest ściśle dodatnia, gdy istnieje jakakolwiek zależność statystyczna.
Jak informacja wzajemna jest używana w selekcji cech w uczeniu maszynowym?
Metody selekcji cech oparte na filtrach obliczają I(cecha; etykieta docelowa) dla każdej kandydującej cechy i rankingują cechy według tego wyniku, zachowując te, które niosą najwięcej informacji o etykiecie. W przeciwieństwie do liniowego współczynnika korelacji, informacja wzajemna wykrywa też zależności nieliniowe i niemonotoniczne, co czyni ją popularnym narzędziem przesiewowym niezależnym od modelu przed treningiem.
Jak neuronauka używa informacji wzajemnej?
Badania kodowania neuronalnego obliczają informację wzajemną między bodźcem sensorycznym a ciągiem impulsów neuronu (lub odpowiedzią populacji), by skwantyfikować, w bitach, ile odpowiedź faktycznie ujawnia o bodźcu. Daje to górną granicę tego, jak dobrze idealny dekoder mógłby zrekonstruować bodziec z aktywności neuronalnej, niezależnie od żadnego zakładanego algorytmu dekodowania.
Czym jest znormalizowana informacja wzajemna i po co jej używać?
Surowa informacja wzajemna jest mierzona w bitach, a jej maksymalna wartość zależy od entropii dwóch zaangażowanych zmiennych, co utrudnia porównywanie wyników między różnymi parami zmiennych. Znormalizowana informacja wzajemna dzieli I(X;Y) przez wartość odniesienia, taką jak min(H(X),H(Y)), tworząc miarę zależności, która zawsze mieści się w [0,1]: 0 dla niezależności i 1, gdy jedna zmienna w pełni determinuje drugą.
Jak informacja wzajemna odnosi się do entropii warunkowej i dywergencji KL?
Informacja wzajemna ma trzy równoważne postaci: I(X;Y) = H(X) + H(Y) − H(X,Y) = H(X) − H(X|Y) = D_KL(P(X,Y) ‖ P(X)P(Y)). Środkowa postać mówi, że I(X;Y) to dokładnie to, o ile entropia warunkowa H(X|Y) — pozostała niepewność co do X po zaobserwowaniu Y — jest mniejsza niż entropia bezwarunkowa H(X). Postać dywergencji KL ujmuje informację wzajemną jako dosłowny pomiar, jak daleko rzeczywisty rozkład łączny jest od założenia niezależności.