UK 
EnglishDefault
Polski🔀 Взаємна інформація: спільна інформація між змінними
Редагуйте таблицю спільної ймовірності наживо й спостерігайте, як H(X), H(Y), спільна ентропія H(X,Y) та взаємна інформація I(X;Y) оновлюються в реальному часі — усе візуалізовано як діаграму Венна з двох кіл ентропії, що перекриваються.
Про цю симуляцію
Взаємна інформація I(X;Y) — це точна, інформаційно-теоретична відповідь на питання «скільки знання про Y говорить мені про X?». Вона визначається як I(X;Y) = H(X) + H(Y) − H(X,Y), де H(X) і H(Y) — ентропії Шеннона двох маргінальних розподілів, а H(X,Y) — ентропія їхнього спільного розподілу. Еквівалентно, I(X;Y) = Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))] — це дивергенція Кульбака–Лейблера між справжнім спільним розподілом і розподілом-добутком маргіналів, який мав би місце, якби X та Y були незалежними. Оскільки ця дивергенція дорівнює нулю рівно тоді, коли спільний розподіл дорівнює добутку маргіналів, взаємна інформація доведено дорівнює нулю тоді й лише тоді, коли X і Y статистично незалежні — і вона зростає в міру посилення залежності змінних, обмежена зверху величиною min(H(X),H(Y)), коли одна змінна повністю визначає іншу.
У цій симуляції ви редагуєте справжню таблицю спільної ймовірності P(X,Y), перетягуючи її клітинки; маргінали P(X) і P(Y) перераховуються наживо шляхом сумування рядків і стовпців, а H(X), H(Y), спільна ентропія H(X,Y) та I(X;Y) перераховуються за визначенням при кожній зміні. Два кола, що перекриваються, — стандартний навчальний прийом теорії інформації: площі кіл представляють H(X) і H(Y), а площа перекриття — I(X;Y), що є прямим візуальним прочитанням тотожності I(X;Y) = H(X) + H(Y) − H(X,Y). Взаємна інформація лежить в основі відбору ознак у машинному навчанні (ознаки ранжують за кількістю взаємної інформації, яку вони несуть про цільову мітку), а нейронаука використовує її, щоб кількісно оцінити, наскільки патерн активності нейрона розкриває інформацію про стимул.
Поширені запитання
Що саме вимірює взаємна інформація?
Взаємна інформація I(X;Y) вимірює в бітах, наскільки зменшується невизначеність щодо X, коли ви дізнаєтеся значення Y (і симетрично — наскільки зменшується невизначеність щодо Y, коли дізнаєтеся X). Це справжня, чітко визначена величина, що виводиться безпосередньо з ентропії, а не довільна оцінка кореляції, і вона фіксує будь-яку статистичну залежність — лінійну чи ні.
Чому I(X;Y) дорівнює точно нулю, коли X і Y незалежні?
Якщо X і Y незалежні, то за визначенням p(x,y) = p(x)p(y) для кожної пари, тому спільна ентропія задовольняє H(X,Y) = H(X) + H(Y). Підставивши це в I(X;Y) = H(X) + H(Y) − H(X,Y), отримуємо точний нуль. Еквівалентно, у формі дивергенції KL Σ p(x,y)·log₂[p(x,y)/(p(x)p(y))] кожен доданок логарифма дорівнює log₂(1) = 0, тож сума дорівнює нулю — це доведений факт з визначення, а не наближення.
Що насправді представляє діаграма Венна з кіл, що перекриваються?
Це стандартна, коректна педагогічна візуалізація розкладання ентропії. Коло A має площу, пропорційну H(X), а коло B — площу, пропорційну H(Y); їхнє об'єднання має площу, пропорційну спільній ентропії H(X,Y), а їхній перетин — площу, пропорційну взаємній інформації I(X;Y). Це точно відповідає алгебрі: площа(A) + площа(B) − площа(A∩B) = площа(A∪B) дзеркально відображає H(X) + H(Y) − I(X;Y) = H(X,Y).
Чи може взаємна інформація коли-небудь бути від'ємною?
Ні. Взаємна інформація завжди ≥ 0 для будь-якого спільного розподілу — це пряме наслідок нерівності Єнсена, застосованої до визначення дивергенції KL (дивергенція KL між будь-якими двома розподілами ймовірностей ніколи не є від'ємною). Вона дорівнює нулю лише для незалежних змінних і строго додатна за будь-якої статистичної залежності.
Як взаємну інформацію використовують у відборі ознак у машинному навчанні?
Методи відбору ознак на основі фільтрів обчислюють I(ознака; цільова мітка) для кожної ознаки-кандидата і ранжують ознаки за цим показником, залишаючи ті, що несуть найбільше інформації про мітку. На відміну від коефіцієнта лінійної кореляції, взаємна інформація також виявляє нелінійні й немонотонні залежності, що робить її популярним інструментом попереднього відбору, незалежним від моделі.
Як нейронаука використовує взаємну інформацію?
Дослідження нейронного кодування обчислюють взаємну інформацію між сенсорним стимулом і послідовністю спайків нейрона (або відповіддю популяції нейронів), щоб кількісно оцінити в бітах, наскільки відповідь справді розкриває інформацію про стимул. Це дає верхню межу того, наскільки добре ідеальний декодер міг би відновити стимул із нейронної активності, незалежно від конкретного алгоритму декодування.
Що таке нормалізована взаємна інформація і навіщо вона потрібна?
Сира взаємна інформація вимірюється в бітах, і її максимальне значення залежить від ентропій двох задіяних змінних, що ускладнює порівняння показників для різних пар змінних. Нормалізована взаємна інформація ділить I(X;Y) на еталонну величину, наприклад min(H(X),H(Y)), даючи міру залежності, що завжди лежить у [0,1]: 0 — для незалежності, 1 — коли одна змінна повністю визначає іншу.
Як взаємна інформація пов'язана з умовною ентропією і дивергенцією KL?
Взаємна інформація має три еквівалентні форми: I(X;Y) = H(X) + H(Y) − H(X,Y) = H(X) − H(X|Y) = DKL(P(X,Y) ‖ P(X)P(Y)). Середня форма означає, що I(X;Y) — це рівно те, наскільки умовна ентропія H(X|Y) (невизначеність щодо X, що залишається після спостереження Y) менша за безумовну ентропію H(X). Форма дивергенції KL представляє взаємну інформацію буквально як міру того, наскільки реальний спільний розподіл відрізняється від припущення про незалежність.