Quantum Entanglement: A Fundamental Mystery

Pytanie o entropię odpowiada

W 1948 roku Claude Shannon w swoim artykule „A Mathematical Theory of Communication” rozpoczyna się od pozornie wąskiego pytania: jeśli źródło emituje symbole z jakiegoś znanego zbioru prawdopodobieństw, jaka jest najmniejsza średnia liczba bitów na symbol, jaką może osiągnąć dowolne kodowanie, niezależnie od tego, jak sprytne? Odpowiedzią jest pojedyncza formuła i okazało się, że to równanie założycielskie całej jednej dziedziny.

H(X)  =  - sum over all symbols x of  p(x) * log2( p(x) )

// measured in bits per symbol
// by convention, p(x) * log2(p(x)) is taken to be 0 when p(x) = 0

Dlaczego logarytm, a dlaczego o podstawa 2

Shannon chciał ilości posiadającej trzy konkretne właściwości: powinna być ciągła w prawdopodobieństwach, powinna być maksymalna, gdy wszystkie wyniki są równie prawdopodobne (maksymalna niepewność), i — co najważniejsze — powinna być addytywna dla niezależnych zdarzeń, czyli zawartość informacyjna dwóch niezależnych symboli razem równa się sumie ich indywidualnych zawartości informacyjnych. Tylko logarytm spełnia addytowność dla niezależnych prawdopodobieństw (ponieważ log(p*q) = log(p) + log(q)), co jednoznacznie określa funkcję, a podstawa logarytmu jedynie ustala jednostkę – o podstawa 2 mówimy w bitach, o podstawa e – natach, a o podstawa 10 – hartlejach. Bit to naturalny wybór, ponieważ bezpośrednio odpowiada na pytanie: "Ile średnio pytań typu tak/nie potrzeba, aby zidentyfikować wynik?"

Wykonanie ręczne pojedynczego rzutu monetą sprawnego

Moneta uczciwa ma p(orła) = p(rewerku) = 0,5, więc:

H = -(0,5 * log2(0,5) + 0,5 * log2(0,5)) = -(0,5 * (-1) + 0,5 * (-1)) = -(-0,5 - 0,5) = 1 bit

Moneta obciążona, p(orła) = 0,9, p(rewerku) = 0,1: H = -(0,9 * log2(0,9) + 0,1 * log2(0,1)) = -(0,9 * (-0,152) + 0,1 * (-3,322)) = -(-0,137 - 0,332) ≈ 0,469 bitów

To jest sedno intuicji, jaką entropia oddaje: uczciwa moneta naprawdę kosztuje Cię jeden pełny bit do przekazania, ponieważ w istocie nie możesz jej przewidzieć. Moneta obciążona, która wypadnie orłem 90% czasu, jest prawie przewidywalna, więc średnio kosztuje mniej niż pół bita — najczęściej już wiesz, że wypadnie orłem i wiadomość w zasadzie Ci nic nowego nie mówi. Entropia jest maksymalna, gdy rozkład jest jednorodny (każde wyjście równie zaskakujące) i spada do zera, gdy jedno wyjście staje się prawie pewne (niczego się nie można nauczyć).

H = -(0.5 * log2(0.5) + 0.5 * log2(0.5))
  = -(0.5 * (-1) + 0.5 * (-1))
  = -(-0.5 - 0.5)
  = 1 bit

A biased coin, p(heads) = 0.9, p(tails) = 0.1:
H = -(0.9 * log2(0.9) + 0.1 * log2(0.1))
  = -(0.9 * (-0.152) + 0.1 * (-3.322))
  = -(-0.137 - 0.332)
  ≈ 0.469 bits

Dwadzieścia pytań, i dlaczego entropia to twardy podłoga, a nie sugestia

Klasyczna gra Twenty Questions – zadawanie tylko pytań typu tak/nie w celu zidentyfikowania nieznanego przedmiotu z zestawu znanego – jest dosłownie binarnym wyszukiwaniem w warunkach niepewności, i sprawia, że entropia staje się konkretna: optymalna strategia, na każdym kroku, dzieli pozostałą masę prawdopodobieństwa tak blisko 50/50, jak to możliwe, ponieważ pytanie izolujące prawie pewien wynik marnuje większość swojego potencjału informacyjnego. Dla rozkładu o entropii H, teoretycznie minimalna oczekiwana liczba pytań typu tak/nie do zidentyfikowania wyniku wynosi H, jeśli prawdopodobieństwa zachodzą w dokładnych potęgach 1/2, i jest to udowodniona niemożność osiągnięcia lepszego wyniku niż H średnio dla dowolnego rozkładu – to stanowi rzeczywisty treść twierdzenia o kodowaniu źródłowym Shannona, i żaden sprytny sposób formułowania pytań nie może go pokonać.

Kodowanie źródłowe: entropia to obietnica, którą prawie realny kod może dostarczyć.

Biorąc pod uwagę entropię źródła H, twierdzenie Shannona o kodowaniu źródłowym gwarantuje, że istnieje kod, którego średnia długość na symbol zbliża się arbitralnie do H bitów (kodując jednocześnie duże bloki symboli), a żaden kod bezstratny nie może osiągnąć średniej wartości poniżej H. Praktyczne kody z prefiksem bezstratnym bezpośrednio podążają za tym ograniczeniem:

Kodowanie Huffmana → optymalny kod z prefiksem BEZSTRATNY dla znanych, stałych prawdopodobieństw; średnia długość jest w granicach 1 bitu od H, często znacznie bliżej; dokładnie pasuje do H, gdy każde prawdopodobieństwo jest potęgą 1/2 Kodowanie arytmetyczne → koduje całe wiadomość jako jedno ułamkowe licznik; nie ogranicza się do słów o długości bitu, więc zbliża się do H nawet wtedy, gdy Kodowanie Huffmana nie może osiągnąć arbitralnie blisko entropia H = 0.469 bitów/symbol (moneta z nachyleniem 90/10, obliczona powyżej) → każdy kod bezstratny na tym źródle matematycznie gwarantuje, że średnio będzie potrzebował co najmniej 0.469 bitów na symbol – bez wyjątków Dlatego entropia jest cytowana jako teoretyczny podłogowy limit kompresji: gzip, zstd, etap entropii JPEG i każdy ogólnego przeznaczenia skompresor są ostatecznie przybliżane do kodera entropii przeciwko szacowanemu modelowi prawdopodobieństwa danych. Lepszy model prawdopodobieństwa (uwzględniający kontekst, korelacje między symbolami itp.) obniża efektywną entropię i tym samym osiągalny rozmiar skompresowanej zawartości – ale żaden model, niezależnie od jego jakości, nie pozwoli Ci pokonać entropii prawdziwej podprzestrzeni rozkładu.

Huffman coding    → optimal PREFIX-FREE code for known, fixed probabilities;
                     average length is within 1 bit of H, often much closer;
                     exactly matches H when every probability is a power of 1/2

Arithmetic coding → encodes the whole message as one fractional number;
                     not restricted to whole-bit-per-symbol codewords, so it
                     converges to H even when Huffman cannot get arbitrarily close

entropy H = 0.469 bits/symbol (90/10 biased coin, worked out above)
→ any lossless compressor on that source is mathematically guaranteed
  to need at least 0.469 bits per symbol on average — no exceptions

Poza jednym symbolem: entropia wspólna, warunkowa i przeciwnowa

Prawdziwe źródła rzadko są niezależne symbol po symbolu – tekst angielski ma silne korelacje między kolejnymi literami, na przykład – a entropia czysto się uogólnia, aby to obsłużyć. Entropia wspólna H(X,Y) mierzy niepewność pary zmiennych razem; entropia warunkowa H(Y|X) mierzy, ile niepewności nadal pozostaje w Y po tym, jak X jest już znane, i zawsze jest ≤ H(Y) – wiedza o czymś nigdy nie zwiększa Twojej niepewności co do tego, zawsze średnio. Entropia przeciłwna, H(p,q) = -Σ p(x)log2(q(x)), mierzy średni długość kodu, gdy kodujesz dane z prawdziwej dystrybucji p za pomocą kodu zoptymalizowanego dla innej, potencjalnie błędnej, szacowanej dystrybucji q – i jest to dokładnie funkcja straty minimalizowana podczas trenowania klasyfikatora, ponieważ niższa entropia przeciłwna oznacza, że prawdopodobieństwa przewidywane przez model są bliższe prawdziwej dystrybucji etykiet.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Shannon Entropy i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.