Основи теорії інформації

Ентропія: Вимірювання Невизначеності

В основі своєї інформаційна теорія працює з випадковістю. Ентропія (часто позначається як *H*) вимірює середню кількість невизначеності, пов’язаної з випадковою змінною. Подія, яка дуже непередбачувана – наприклад, кидання чесної монети, – має високу ентропію.

Формально, для дискретної випадкової змінної X, що приймає значення {x₁, x₂, ..., xₘ} з ймовірностями {p₁, p₂, ..., pₘ}, ентропія визначається як: H(X) = - Σᵢ pᵢ * log₂(pᵢ). Логарифм до основи 2 є ключовим, оскільки він безпосередньо пов’язаний з бітами.

H(X) = - Σᵢ pᵢ * log₂(pᵢ)

Біти та бінарне представлення

Фундаментальна одиниця інформації – біт. Бит може бути або 0, або 1, що представляє дві окремі стани. Це бінарне представлення є ключовим для цифрової комунікації.

Робота Шеннона встановила прямий зв’язок між ентропією та кількістю бітів, необхідних для представлення інформації. Більша ентропія означає, що в середньому потрібно більше біт для кодування даних.

жива демонстрація · пов'язана симуляція● LIVE

Мінімальна місткість каналу

Комунікаційний канал (наприклад, дріт, радіохвиля) піддається шуму та спотворенню. Мінімальна місткість каналу (C) представляє собою максимальну швидкість передачі інформації надійно через цей канал.

Мінімальна місткість каналу залежить від ширини пропускання каналу та співвідношення сигнал/шум (SNR). Більше значення SNR дозволяє більшу місткість – більше біт на секунду – без помилок.

C = B * log₂(1 + SNR)

Неоднозначність та стиснення

Оскільки ентропія представляє середню невизначеність, реальні дані часто містять надмірність – повтори або закономірності, які не сприяють передачі інформації. Саме тут на допомогу приходять алгоритми стиснення.

Алгоритми стиснення використовують надмірність для зменшення кількості біт, необхідних для представлення повідомлення, без втрати суттєвої інформації. Прикладами є кодування Хаффмана та Lempel-Ziv.

Frequently asked questions

Що таке теорема Шанана?

Теорема Шанана стверджує, що швидкість надійної комунікації через канал обмежена ємністю каналу, яка залежить від ширини смуги та співвідношення сигнал/шум.

Чому ми використовуємо базу 2 для логарифмів в теорії інформації?

Базу 2 використовують, оскільки біти є фундаментальною одиницею інформації – представляючи або 0, або 1.

Як ентропія пов'язана з зберіганням даних?

Ентропія визначає мінімальну кількість бітів, необхідну для представлення набору даних, впливаючи на ефективність зберігання та стратегії стиснення.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте SPH Fluid і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.

▶ Відкрити симуляцію SPH Fluid

Розуміння невизначеності та бітів