Теорема Шеннона–Найквіста — межі інформації

3D Simulations

Теорія інформації · Обробка сигналів · Математика

📅 Квітень 2026 ⏱ ≈ 12 хв читання 🎯 Середній · Останнє оновлення: 28 травня 2026 р.

Теорема Шеннона–Найквіста — межі інформації

Дві теореми визначають жорсткі межі цифрового зв’язку. Теорема відліків Найквіста–Шеннона каже нам мінімальну частоту дискретизації, потрібну для досконалого захоплення будь-якого аналогового сигналу. Формула пропускної здатності каналу Клода Шеннона каже нам максимальну швидкість передавання даних, яку може підтримати будь-який зашумлений канал, незалежно від того, наскільки розумне кодування. Разом вони лежать в основі кожної цифрової системи, що будь-коли була створена.

Автор: Команда MySimulator · Редакційна перевірка: Редакція MySimulator

1. Теорема відліків

Сигнали неперервного часу (звук, покази датчиків) мають бути дискретизовані перед цифровою обробкою. Фундаментальне запитання таке: як часто потрібно брати відліки, щоб не втратити інформацію?

Теорема відліків Найквіста–Шеннона (1928/1949): сигнал з обмеженою смугою без частотних складових вище W Гц можна досконало відновити з відліків, узятих з частотою f_s > 2W відліків за секунду.

Частота Найквіста: f_s_min = 2W Звук компакт-диска: W = 20 кГц (межа людського слуху) f_s = 44 100 Гц (трохи вище за Найквіста) Медичне ультразвукове дослідження: W = 15 МГц \to f_s \geq 30 MSPS (мегавідліків/с) AM-радіо (звук 0-10 кГц): f_s = 22 050 Гц достатньо

Теорема є точною, а не наближеною. Дискретизація рівно на 2W дозволяє досконало відновити все, що нижче за W Гц — жодна інформація не втрачається, попри дискретизацію. Це здається парадоксальним: скінченна послідовність чисел повністю кодує неперервну форму хвилі.

Чому це працює: дискретизація в часі періодично повторює спектр сигналу за частотою. Якщо f_s > 2W, спектральні копії не перекриваються і їх можна виділити фільтром нижніх частот (фільтром відновлення). Інтерполяційна формула Уіттекера–Котельникова–Шеннона робить це точно за допомогою функцій sinc.

2. Аліасинг

Коли f_s < 2W, спектральні копії перекриваються — високочастотні складові «згортаються» назад у основну смугу й з’являються як низькочастотні артефакти. Це аліасинг:

Синусоїда з частотою f Гц, дискретизована на f_s Гц, проявляється як синусоїда з частотою: f_alias = |f - round(f/f_s) \cdot f_s| Приклад: f = 7 кГц, f_s = 8 кГц f_alias = |7000 - 1\times8000| = 1000 Гц \leftarrow тон 7 кГц стає 1 кГц! У зображеннях (просторовий аліасинг): дрібну шахову дошку, сфотографовану надто грубо, дає муарові візерунки — великомасштабні інтерференційні смуги, яких там не було.

Антиаліасингові фільтри обмежують смугу сигналу нижче за f_s/2 перед дискретизацією. В аудіо-АЦП це зазвичай аналоговий еліптичний фільтр нижніх частот із дуже різким зрізом. У цифрових камерах оптичний фільтр нижніх частот (OLPF) трохи розмиває зображення, щоб видалити просторові частоти за межею Найквіста для пікселів.

Часовий аліасинг у відео: гвинти вертольота у фільмах інколи здаються такими, що обертаються повільно або назад — частота кадрів (24 кадри/с) дає аліасинг частоти обертання лопатей. Теорема Найквіста застосовна як у часі, так і за частотою.

3. Досконале відновлення

За наявності відліків x[n], узятих з частотою Найквіста, вихідний неперервний сигнал x(t) відновлюється так:

x(t) = Σₙ₌₋\infty^\infty x[n] \cdot sinc( (t - n/f_s) \cdot f_s ) sinc(u) = sin(πu) / (πu) Кожен відлік дає внесок у вигляді «імпульсу» sinc, центрованого на своєму часовому положенні. Функції sinc ортогональні, тож відліки досконало розподіляють енергію сигналу.

На практиці досконала sinc-інтерполяція потребує фільтрів нескінченної довжини. Реальні системи використовують віконні sinc-фільтри (наприклад, КІХ-фільтри з вікном Кайзера) або поліфазні банки фільтрів, що досягають похибки відновлення нижче за рівень шуму АЦП.

4. Ентропія Шеннона

Стаття Клода Шеннона 1948 року «Математична теорія зв’язку» ввела точну міру інформації: ентропію.

H(X) = -Σᵢ pᵢ \cdot log₂(pᵢ) (біт) p_i = ймовірність символу i Чесна монета (p = 0.5, 0.5): H = 1 біт (максимальна невизначеність) Гральний кубик (p = 1/6 для кожного): H = log₂(6) \approx 2.585 біта Зміщена монета (p = 0.9, 0.1): H = -(0.9 log₂0.9 + 0.1 log₂0.1) \approx 0.47 біта

Ентропія — це мінімальна середня кількість бітів, потрібна для кодування виходу випадкового джерела. Теорема Шеннона про кодування джерела довела, що жодна схема стиснення без втрат не може стиснути нижче за ентропійну межу — а кодування Гаффмана досягає цього оптимально для кодів цілочисельної довжини.

Для англійського тексту ентропія становить приблизно 1.0–1.5 біта/символ (через величезну надлишковість мови). ZIP/gzip досягають приблизно такого коефіцієнта стиснення.

5. Пропускна здатність каналу Шеннона

Теорема Шеннона про кодування каналу встановлює максимальну швидкість, з якою інформацію можна передавати зашумленим каналом зі скільки завгодно малою похибкою:

C = B \cdot log₂(1 + S/N) біт за секунду B = смуга пропускання (Гц) S = потужність сигналу (Вт) N = потужність шуму в смузі B = k_B \cdot T \cdot B (k_B = стала Больцмана = 1.38\times10⁻²³ Дж/К, T = температура) Це теорема Шеннона-Хартлі — жорстка межа, яку не може перевершити жодна технологія. Сучасні коди (LDPC, турбокоди) наближаються до неї в межах 0.1 дБ.

Наслідки

Смуга пропускання та SNR взаємозамінні: подвоєння смуги подвоює пропускну здатність; підвищення SNR на 3 дБ додає 1 біт/с/Гц. За високого SNR смуга пропускання цінніша.
Нескінченний SNR → нескінченна пропускна здатність? Ні. За низького SNR додавання смуги допомагає; за дуже високого SNR пропускна здатність зростає лише логарифмічно з потужністю.
Рівень теплового шуму: за 290 К (кімнатна температура) спектральна густина потужності теплового шуму = kT = −174 дБм/Гц. Це абсолютна нижня межа шуму приймача й, отже, остаточна межа пропускної здатності.

Приклади межі Шеннона: DSL-модем: B = 1.1 МГц, SNR = 40 дБ \to C = 1.1\times10⁶ \times 13.3 \approx 14.6 Мбіт/с 5G NR: B = 100 МГц, SNR = 30 дБ \to C = 10⁸ \times 10 = 1 Гбіт/с на соту Оптоволокно: B = 4 ТГц (C-діапазон), SNR = 24 дБ \to теоретично петабіти/с

6. Завадостійкі коди та межа Шеннона

Теорема Шеннона — це доведення існування: вона стверджує, що надійне передавання зі швидкостями аж до C можливе, але не каже, як цього досягти. Пошук практичних кодів, що наближаються до межі Шеннона, тривав 50 років:

Коди Гемінга (1950): виправляють одиничні помилки; далеко від межі Шеннона.
Згорткові коди + декодування Вітербі (1967): використовувалися в ранньому супутниковому та далекому космічному зв’язку (Voyager). У межах кількох дБ від межі.
Турбокоди (1993): у межах 0.5 дБ від межі Шеннона; здійснили революцію у стільниковому зв’язку 3G.
Коди LDPC (повторно відкриті 1996): у межах 0.0045 дБ від межі Шеннона; використовуються у WiFi 6, 10GbE, DVB-S2, CCSDS для далекого космосу.
Полярні коди (2009): доведено досягають пропускної здатності Шеннона за довжини коду → ∞; використовуються у 5G NR.

Швидкість коду проти пропускної здатності: код зі швидкістю ½ додає один біт парності на кожен біт даних. У каналі з адитивним білим гаусовим шумом (AWGN) за SNR 0 дБ (потужність сигналу = потужності шуму) пропускна здатність Шеннона = 0.5 біт/с/Гц. Код зі швидкістю ½, що працює саме за такого SNR, має бути нескінченно довгим, щоб наблизитися до нульової ймовірності помилки — на практиці коди довжиною ~10 000 бітів досягають у межах 0.5 дБ.

7. Застосування у реальному світі

Звук компакт-диска (44 100 Гц/16 біт): теорема Найквіста, застосована до межі слуху 20 кГц. Частота 44.1 кГц має 10% запасу на спад антиаліасингового фільтра.
Широкосмуговий доступ ADSL/VDSL: OFDM по всій смузі телефонної лінії; кожна піднесна модулюється з обмеженою за SNR пропускною здатністю того діапазону частот.
Далекий космічний зв’язок (Voyager, New Horizons): надзвичайно низький SNR (сигнал з відстані 20 мільярдів км); близькі до Шеннона коди LDPC та згорткові коди необхідні, щоб узагалі отримати хоч якісь дані.
Цифрові камери: масиви Баєра дискретизують на піксельній сітці ПЗЗ-матриці; демозаїка — це форма інтерполяції, що враховує просторову межу Найквіста.
Медична візуалізація (МРТ): k-простір дискретизується; відновлення — це обернене 2-вимірне перетворення Фур’є; стиснене зчитування (compressed sensing) дозволяє субнайквістову дискретизацію, коли зображення розріджені в якійсь області.

〰️ Відкрити симуляцію перетворення Фур’є →