Що таке ентропія? — Нарешті зрозуміло

Ентропія — одне з найчастіше неправильно вживаних слів у науці. Це не просто «безлад». Це точно визначена величина, що вимірює кількість способів, якими систему можна впорядкувати так, щоб вона виглядала однаково, — і розуміння цього пояснює, чому час має напрямок.

1. Інтуїція: чому яйце не «розбовтується» назад

Влийте келих червоного вина в резервуар з водою. Вино розсіюється. Зачекайте мільярд років: вино не збереться назад самочинно. Чому? Закони фізики на рівні частинок є оборотними в часі — рівняння однаково добре працюють уперед і назад. То чому ж вино лише розповзається?

Відповідь — імовірність. Існує незрівнянно більше способів розподілити молекули вина по всьому резервуару, ніж зібрати їх в одному кутку. Система, що випадково досліджує свої можливі конфігурації, майже напевно рухається до найчисленніших з них — до розсіяних станів.

Це і є ентропія: логарифм кількості доступних конфігурацій (мікростанів).

2. Термодинамічна ентропія

Клаузіус визначив ентропію операційно у 1865 році, ще до того, як хтось зрозумів атоми. Коли система оборотно поглинає невелику кількість тепла dQ за абсолютної температури T, її ентропія зростає на:

Визначення Клаузіуса (1865) dS = δQ rev / T S = ентропія (Дж/К) δQ rev = нескінченно мале оборотно поглинуте тепло (Дж) T = абсолютна температура (К)

Нагрівання чогось збільшує його ентропію. Що гарячіша система вже є, то менший приріст ентропії від тієї самої порції тепла — бо за вищих температур система вже має багато доступних енергетичних станів.

ККД Карно: максимальний коефіцієнт корисної дії будь-якого теплового двигуна, що працює між температурами T_cold і T_hot, дорівнює η = 1 − T_cold/T_hot. Ця межа випливає безпосередньо з ентропії: ентропія, віддана холодному резервуару, має бути щонайменше такою ж, як поглинута від гарячого.

3. Статистична ентропія Больцмана

У 1877 році Больцман пов'язав термодинамічну ентропію Клаузіуса з імовірністю. На його надгробку, як відомо, викарбувано рівняння:

Формула ентропії Больцмана S = k B ln W k B = 1.380649 \times 10⁻²³ Дж/К (стала Больцмана) W = кількість мікростанів, сумісних з макростаном ln = натуральний логарифм

Чому логарифм? Бо ентропія має бути адитивною (ентропія двох незалежних систем = сумі їхніх ентропій), але якщо поєднати дві системи, кожна з W₁ та W₂ мікростанами, об'єднана система має W₁ × W₂ мікростанів. Логарифм перетворює множення на додавання: ln(W₁·W₂) = ln W₁ + ln W₂.

4. Мікростани та макростани

Макростан — це те, що ми спостерігаємо: температуру, тиск, об'єм. Мікростан задає положення і швидкість кожної молекули. Багато мікростанів можуть давати той самий макростан.

Розгляньмо 4 молекули у двосекційній коробці:

Ліва \| Права	Мікростани W	Імовірність
4 \| 0	1	6.25%
3 \| 1	4	25%
2 \| 2	6	37.5% ← найімовірніше
1 \| 3	4	25%
0 \| 4	1	6.25%

З 4 молекулами конфігурація «всі з одного боку» цілком імовірна. З 6 × 10²³ молекулами (число Авогадро) імовірність самочинного розділення настільки мала, що воно ніколи не відбувалося й ніколи не відбудеться за весь час існування Всесвіту.

5. Другий закон термодинаміки

Другий закон стверджує: повна ентропія ізольованої системи ніколи не зменшується з часом.

Макроскопічний погляд

Тепло перетікає від гарячого до холодного. Газ розширюється, заповнюючи вакуум. Упорядковані структури руйнуються. Процеси необоротні.

Статистичний погляд

Система блукає серед мікростанів з однаковою імовірністю. Високоентропійні (численніші) макростани відвідуються майже завжди.

Другий закон є статистичним, а не абсолютним. У принципі, яйце могло б «розбовтатися» назад — просто це настільки астрономічно малоймовірно, що ніколи не трапляється. У нанорозмірах тимчасові зменшення ентропії відбуваються (броунівський рух, флуктуаційні теореми).

Ентропія і життя: живі організми підтримують низьку внутрішню ентропію, експортуючи ентропію в довкілля (споживаючи їжу, виділяючи тепло). Другий закон не порушується — за локальний порядок розплачуються зростанням глобального безладу. Земля загалом експортує ентропію через теплове випромінювання в космос.

6. Інформаційна ентропія (Шеннон)

У 1948 році Клод Шеннон незалежно вивів ту саму математичну форму для теорії зв'язку. Ентропія Шеннона для розподілу імовірностей {p₁, p₂, …, pₙ} така:

Ентропія Шеннона H = - Σ pᵢ log₂(pᵢ) (біти) Або еквівалентно: H = - Σ pᵢ ln(pᵢ) / ln(2) Максимальна ентропія: усі результати рівноймовірні (H = log₂ n) Мінімальна ентропія: один результат гарантований (H = 0)

Ентропія Шеннона вимірює обсяг інформації або несподіванку. Підкидання чесної монети має H = 1 біт. Зміщена монета з P(орел)=0.9 має H ≈ 0.47 біта — менше невизначеності, менше інформації, отриманої з кожного підкидання.

Це не збіг: ентропія Больцмана і ентропія Шеннона — той самий математичний об'єкт. Фізична ентропія вимірює невизначеність щодо того, у якому мікростані перебуває система; інформаційна ентропія вимірює невизначеність щодо того, який символ було надіслано.

Стиснення: ентропія Шеннона задає теоретичний мінімум бітів, потрібних для кодування джерела. ZIP/DEFLATE, JPEG, MP3 — усі наближаються до цієї межі через різні статистичні моделі даних.

7. Стріла часу

Мікроскопічні закони фізики (Ньютон, Максвелл, Шредінгер) симетричні в часі — вони працюють однаково вперед і назад. Однак світ має чіткий напрямок минуле → майбутнє: кава охолоджується, утворюються спогади, причини передують наслідкам.

Ентропія пояснює це: минуле мало нижчу ентропію. Чому? Всесвіт почався в надзвичайно впорядкованому (низькоентропійному) стані — Великий вибух. Другий закон — це просто статистика: ми досі релаксуємо до максимальної ентропії, і «вперед у часі» — це напрямок зростання ентропії.

Демон Максвелла (1867): Джеймс Клерк Максвелл уявив крихітного демона, що відчиняє дверцята між газовими секціями, пропускаючи швидкі молекули в один бік, а повільні — в інший, тим самим безкоштовно зменшуючи ентропію. Розв'язання прийшло в 1961 році (Ландауер): пам'ять демона зрештою має стиратися, а це стирання розсіює щонайменше k_BT ln 2 енергії на біт. Стирання інформації необоротне й породжує ентропію.

8. Поширені хибні уявлення

«Ентропія = безлад». Оманливе. Кристал (впорядкований) має нижчу ентропію, ніж газ. Але «безлад» потребує суб'єктивної оцінки того, що вважати впорядкованим. Точне визначення таке: логарифм кількості мікростанів.
«Ентропія завжди зростає». Лише в ізольованих системах. Кондиціонер зменшує ентропію локально, відкачуючи тепло назовні, — але породжує більше ентропії на електростанції. Сумарна ентропія Всесвіту зростає.
«Ентропія суперечить еволюції». Креаціоністи іноді стверджують, що еволюція порушує другий закон. Це не так: Земля не ізольована. Сонце постачає величезну вільну енергію; життя використовує її, щоб будувати складні структури, експортуючи надлишок ентропії у вигляді тепла.
«Чорні діри порушують ентропію». Насправді Бекенштейн і Гокінг показали, що ентропія чорної діри пропорційна площі горизонту — це об'єкт з найвищою ентропією в природі. Випромінювання Гокінга повільно повертає цю ентропію Всесвіту.