Bayesian Inference: A Probabilistic Approach to Decision Making

Jak bardzo wiedza o X wpływa na Twoją wiedzę o Y?

Współczynnik informacyjny I(X;Y) odpowiada na precyzyjne pytanie, które zadaje się w sposób nieformalny i ciągle: jak obserwacja jednej zmiennej losowej redukuje Twoje niepewności co do innej? Jest on zbudowany bezpośrednio na podstawie entropii Szanna i ma pięknie symetryczną definicję – można go obliczyć na trzy całkowicie różne sposoby i zawsze otrzymasz to samo, co jest w istocie drobnym dowodem, że koncepcja uchwyta coś realnego, a nie artefaktu wynikający z sposobu przeprowadzenia obliczeń.

I(X;Y) = H(X) - H(X|Y)      // uncertainty in X, minus what's left once you know Y
       = H(Y) - H(Y|X)      // symmetric — same value, computed the other direction
       = H(X) + H(Y) - H(X,Y)   // via the joint entropy of the pair together

// all three formulas give the SAME number: I(X;Y) = I(Y;X), always

Własność entropii Vennowskie

Najczystszym intuicją jest diagram Vennowski dwóch nakładających się okręgów, jeden reprezentujący H(X) a drugi H(Y). Cała powierzchnia pokryta przez ich sumę jest entropią współzbieżną H(X,Y) – niepewnością pary rozpatrywanej wspólnie. Część okręgu X, która nie jest pokryta przez okrąg Y, to entropia warunkowa H(X|Y) – to, co pozostało nieznamy o X nawet po pełnym poznaniu Y. A nakładające się obszary obu okręgów reprezentują dokładnie informację wzajemną I(X;Y) – niepewność o X, która znika po obserwacji Y, a zgodnie z symetrycznym definicją powyżej jest identyczna z niepewnością o Y, która znika po obserwacji X.

|-------- H(X) --------|
|                       |
|   H(X|Y)  |  I(X;Y)  |  H(Y|X)   |
|           |          |           |
                       |-------- H(Y) --------|

H(X,Y) = H(X|Y) + I(X;Y) + H(Y|X)     (the whole union, no double-counting)

Dwa ekstremy, wykonywane ręcznie

Jeśli X i Y są całkowicie niezależne – wiedza o jednym nic nie mówi o drugim – to z definicji p(x,y) = p(x)p(y) dla każdej pary, co wymusza H(X,Y) = H(X) + H(Y), a wstawienie tego do powyższego wzoru daje I(X;Y) = H(X) + H(Y) - H(X,Y) = 0. Wartość współzmienności dokładnie równa zero jest faktycznie jednym z standardowych formalnych definicji statystycznej niezależności.

Jeśli Y jest deterministyczną, odwracalną funkcją X – np. Y jest zawsze dokładnie X, lub zawsze dokładnie nie-X dla zmiennej binarnej – to wiedza o X eliminuje całą niepewność co do Y, więc H(Y|X) = 0, a współzmienność skraca się do swojego maksymalnego możliwego wartości dla pary: I(X;Y) = H(Y) - H(Y|X) = H(Y). Dla dwóch zmiennych o równym entropii H(X) = H(Y) = 1 bit (jak w przypadku dwóch idealnie skorelowanych, uczciwych monet), oznacza to, że I(X;Y) = 1 pełny bit – cała niepewność jednej zmiennej jest wyjaśniona przez drugą.

Dlaczego informacja wzajemna wychwytuje to, czego brakuje korelacji

Korelacja Pearsona, powszechnie używany statystyk, wykrywa jedynie relacje liniowe – może być równa zero między dwiema zmiennymi, które są ze sobą idealnie i deterministycznie powiązane, ale tylko w sposób nieliniowy. Typowym przykładem z podręczników jest Y = X^2 dla X losowanego symetrycznie wokół zera: korelacja oblicza wartość 0 (liniowy składnik naprawdę wygasa w symetrycznym zakresie), jednakże Y jest całkowicie determinowane przez X, a po poznaniu X nie pozostaje żadnej rzeczywistej niepewności. Informacja wzajemna nie ma tego słabego punktu, ponieważ opiera się o pełną rozkład prawdopodobieństwa wspólnego p(x,y), a nie o jego liniową projekcję – I(X;Y) dla tej samej relacji Y = X^2 daje mocno pozytywną wartość, poprawnie raportując, że Y jest w pełni przewidywalne z X, choć nie liniowo.

Dywersja Kullbacka: to samo mechanizmy, widziane jako odległość

Istnieje drugie, równoważne podejście do zdefiniowania wzajemnej informacji, które ujawnia, czym ona naprawdę jest: dywersja Kullbacka między rzeczywistą dystrybucją współzbieżną p(x,y) a hipotetyczną dystrybucją współzbieżną, jaką byśmy uzyskali, gdyby X i Y rzeczywiście nie wpływały na siebie, p(x)*p(y):

I(X;Y) = D_KL( p(x,y) || p(x)*p(y) ) = suma po x,y z p(x,y) * log2( p(x,y) / (p(x)*p(y)) ) // D_KL(P || Q) ogólnie mierzy różnicę między dystrybucją P a dystrybucją referencyjną Q, w bitach — zawsze >= 0 i dokładnie // równa 0 tylko wtedy, gdy P i Q są identyczne // więc wzajemna informacja to dosłownie: "jak daleko jest rzeczywista dystrybucja współzbieżna // od świata, w którym X i Y nie wpływają na siebie w ogóle"

Ponieważ dywersja KL jest zawsze nieujemna i równa zero tylko wtedy, gdy dwie dystrybucje są identyczne, to natychmiast udowadnia, że wzajemna informacja nigdy nie może być ujemna — I(X;Y) >= 0 zawsze, z równością dokładnie w przypadku niezależności — fakt, który nie jest oczywisty z definicji opartej na entropii i ich subtraku, ale wypływa bezpośrednio z perspektywy dywergencji KL.

I(X;Y) = D_KL( p(x,y)  ||  p(x)*p(y) )
       = sum over x,y of  p(x,y) * log2( p(x,y) / (p(x)*p(y)) )

// D_KL(P || Q) in general measures how different distribution P is
// from a reference distribution Q, in bits — always >= 0, and exactly
// 0 only when P and Q are identical

// so mutual information is literally: "how far is the real joint
// distribution from the world where X and Y don't affect each other at all" 

Gdzie to się faktycznie wykorzystuje

Współczynnik informacyjny pojawia się wszędzie tam, gdzie pytanie brzmi: "Jak bardzo są ze sobą powiązane te dwie rzeczy, bez założenia modelu liniowego". Selekcja cech w uczeniu maszynowym ocenia potencjalne cechy wejściowe na podstawie ich współczynnika informacyjnego z etykietą docelową, wychwytując nieliniowe relacje predykcyjne, które filtr oparty o korelację całkowicie pomija. Algorytmy drzew decyzyjnych (ID3, C4.5) wybierają, na którym cechę podzielić na każdym węźle, wybierając tę z największym zyskiem informacyjnym – co jest dokładnie współczynnikiem informacyjnego między tą cechą a etykietą klasy. W neurowale i genomice współczynnik informacyjny pomiędzy bodowem a sygnałem neuronowym, lub pomiędzy poziomami ekspresji genów, jest standardowym narzędziem, ponieważ relacje biologiczne są z reguły nieliniowe, a współczynnik korelacji liniowej systematycznie niedoszacowuje, jak mocno ze sobą powiązane są te sygnały.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Mutual Information i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.