PL 
EnglishDomyślny
Українська📶 Entropia Shannona: Pomiar Informacji
Przeciągaj prawdopodobieństwa symboli i obserwuj, jak entropia Shannona H = -Σ p·log2(p) aktualizuje się na żywo, a następnie rozegraj wyszukiwanie binarne w stylu 20 pytań, które pokazuje, dlaczego entropia jest prawdziwym minimum średniej liczby bitów na symbol.
O tej symulacji
Ta symulacja wizualizuje entropię Shannona — miarę niepewności lub zawartości informacji rozkładu prawdopodobieństwa, zdefiniowaną jako H = -Σ p·log2(p). Przeciągając prawdopodobieństwa symboli, obserwujesz na żywo, jak entropia rośnie, gdy rozkład staje się bardziej jednolity (więcej niepewności), i maleje, gdy jeden symbol dominuje (mniej niepewności). Interaktywna gra w 20 pytań pokazuje, że optymalna strategia zadawania pytań binarnych osiąga średnią liczbę pytań bardzo bliską wartości entropii — konkretny, namacalny dowód na to, że entropia jest teoretycznym minimum średniej liczby bitów potrzebnych do zakodowania symbolu z tego rozkładu.
🔬 Co przedstawia
Suwaki prawdopodobieństwa dla zestawu symboli oraz na żywo obliczaną entropię Shannona H = -Σ p·log2(p) w bitach, wraz z wizualizacją tego, jak rozkład prawdopodobieństwa wpływa na niepewność.
🎮 Jak korzystać
Przeciągnij suwaki prawdopodobieństwa symboli (muszą sumować się do 1) i obserwuj, jak entropia reaguje na żywo. Następnie zagraj w grę 20 pytań opartą na wyszukiwaniu binarnym, aby zobaczyć, jak optymalna strategia pytań zbliża się do teoretycznego minimum entropii.
💡 Czy wiesz, że?
Entropia osiąga maksimum, gdy wszystkie symbole są jednakowo prawdopodobne (rozkład jednostajny) — wtedy nie ma sposobu, by zgadnąć lepiej niż losowo. Im bardziej nierówny rozkład, tym mniejsza entropia, ponieważ częste symbole niosą mniej informacji, gdy się pojawiają.
Najczęściej zadawane pytania
Jak zbudowany jest ten symulator?
Suwaki ustawiają prawdopodobieństwa dla zestawu symboli, które muszą sumować się do 1. Entropia Shannona H = -Σ p·log2(p) jest przeliczana na żywo po każdej zmianie, mierzona w bitach na symbol. Osobna gra 20 pytań demonstruje wyszukiwanie binarne nad tym samym rozkładem prawdopodobieństwa, licząc średnią liczbę pytań potrzebnych do odgadnięcia symbolu.
Dlaczego entropia jest maksymalna przy rozkładzie jednostajnym?
Gdy wszystkie symbole są jednakowo prawdopodobne, żadna informacja uprzednia nie pomaga przewidzieć, który się pojawi — to sytuacja maksymalnej niepewności, a więc maksymalnej entropii. Gdy jeden symbol staje się bardziej prawdopodobny niż inne, jego pojawienie się niesie mniej informacji (bo było oczekiwane), co obniża średnią entropię.
Jak gra w 20 pytań łączy się z entropią?
Optymalna strategia zadawania pytań binarnych (podział zbioru możliwości mniej więcej po połowie na podstawie prawdopodobieństw) osiąga średnią liczbę pytań bardzo bliską wartości entropii rozkładu, mierzonej w bitach. To namacalny dowód twierdzenia o kodowaniu źródłowym Shannona: entropia to teoretyczne minimum średniej liczby bitów potrzebnych do zidentyfikowania symbolu z danego rozkładu.
Dlaczego entropia jest mierzona w bitach, a nie w innych jednostkach?
Użycie logarytmu o podstawie 2 oznacza, że jednostką jest bit — najmniejsza jednostka informacji cyfrowej, odpowiadająca jednemu pytaniu tak/nie o maksymalnej informacyjności. Można równie dobrze użyć logarytmu naturalnego (jednostka: nat) lub logarytmu dziesiętnego (jednostka: hartley), ale bit jest naturalny przy pracy z systemami cyfrowymi i kodowaniem komputerowym.