Головна ШІ та Машинне навчання Нейронний Газ

🧠 Нейронний Газ

Спостерігайте як нейронний газ адаптується до топології даних — конкурентне навчання з ранжуванням сусідів.

ШІ та Машинне навчання2DСередній60 FPS
neural-gas ↗ Відкрити окремо
DRAG · SCROLL · CLICK — керуйте прямо у вікні симуляції.

Про цю симуляцію

Ця симуляція навчає два класичні алгоритми конкурентного навчання без учителясамоорганізаційну карту (SOM) та нейронний газ — прямо у твоєму браузері. Сітка чи набір вузлів притягуються до випадково вибраних точок з обраного розподілу даних, поступово перебудовуючись, поки її вузли не покриють многовид, на якому насправді лежать дані.

🔬 Що показано

Кожен крок навчання бере випадкову точку з розподілу даних і оновлює кожен вузол на величину, що зменшується з відстанню від «переможного» вузла. У SOM ця відстань вимірюється вздовж фіксованої 2D-топології сітки за допомогою гаусової функції сусідства h = e^(−d²/2σ²), тому полотно SOM показує з'єднані лінії сітки, що вигинаються й згортаються, підлаштовуючись під дані. У нейронному газі вузли не мають фіксованої топології — натомість кожен вузол ранжується за відстанню до входу і оновлюється за h = e^(−ранг/λ), тож вузли вільно дрейфують, покриваючи розподіл без жорсткої сітки.

🎮 Як користуватись

Перемикайся між вкладками SOM і Нейронний газ, потім обери пресет розподілу даних — Рівномірний квадрат, Кільце, Дві гаусіани чи Півмісяць, — щоб побачити, як по-різному кожен алгоритм адаптується. Регулюй швидкість навчання η та сусідство σ (обидва автоматично спадають протягом навчання) або λ для нейронного газу, змінюй розмір сітки для більшої чи меншої кількості вузлів і натискай «Запуск», щоб анімувати до 200 епох, поки живий показник похибки квантування відстежує, наскільки добре вузли відповідають даним.

💡 Чи знали ви?

Самоорганізаційну карту винайшов фінський дослідник Теуво Кохонен у 1982 році як модель того, як сенсорна кора мозку самоорганізується топографічно, і вона й досі широко використовується для візуалізації багатовимірних даних у 2D. Нейронний газ, представлений десятиліттям пізніше Мартінецом і Шультеном, повністю відмовляється від фіксованої сітки й часто сходиться до нижчої похибки квантування саме тому, що його вузли вільні перебудовувати власну ефективну топологію відповідно до даних.

Часті питання

У чому різниця між самоорганізаційною картою та нейронним газом?

Самоорганізаційна карта розташовує свої вузли на фіксованій сітці (тут — квадратна сітка до 16×16) і оновлює сусідів на основі їхньої відстані по сітці до переможного вузла, що змушує карту зберігати 2D-топологію сітки, навіть коли вона вигинається, підлаштовуючись під дані. Нейронний газ взагалі не має сітки: кожен вузол просто ранжується за відстанню до поточної вхідної точки, і сила оновлення спадає з рангом, а не з просторовою позицією, дозволяючи вузлам осісти в будь-якому розташуванні, що найкраще представляє дані.

Як правило навчання SOM насправді оновлює вузли?

Для кожної вибраної точки даних симуляція спершу знаходить «найкраще відповідний вузол» (BMU) — вузол сітки, найближчий до цієї точки, — а потім оновлює кожен вузол i за формулою Δwᵢ = η·h(d)·(x−wᵢ), де h(d) = e^(−d²/2σ²), а d — відстань по сітці від вузла i до BMU. Вузли поблизу BMU рухаються майже так само, як сам BMU, тоді як віддалені вузли ледь рухаються, і саме це дозволяє всій сітці плавно згортатися, простежуючи многовид даних.

Чому швидкість навчання та радіус сусідства зменшуються з часом?

І η, і σ (або λ для нейронного газу) множаться на експоненційний коефіцієнт спадання e^(−t·k) у міру наближення епох навчання до межі в 200 епох, тож ранні оновлення великі й впливають на широке сусідство (грубе, загальне впорядкування), а пізніші оновлення малі й локальні (тонке налаштування). Без цього графіка відпалу карта або ніколи б не стабілізувалась, або не змогла б правильно розгорнутися зі свого випадкового початкового стану.

Що вимірює похибка квантування і чому це важливо?

Похибка квантування — це середня відстань від вибірки точок даних до їхнього найближчого вузла, обчислена тут за 100 точками кожні 5 епох; менше значення означає, що вузли розташовані ближче до того, де насправді є дані, тож карта точніше представляє розподіл. Спостереження за падінням цього числа під час навчання — прямий, числовий спосіб підтвердити візуальне враження, що сітка сходиться до даних.

Чому Кільце чи Півмісяць виглядають складнішими для підгонки сітки SOM, ніж Рівномірний квадрат?

Фіксовані сусідні зв'язки квадратної сітки природно відповідають опуклій, заповненій області, як пресет Рівномірний квадрат, але такі розподіли, як Кільце чи Півмісяць, вигнуті й порожнисті, змушуючи сітку скручуватись, загортатися сама на себе або залишати вузли застряглими в порожньому просторі між рукавами фігури. Нейронний газ, позбавлений жорсткої топології, зазвичай точніше відстежує ці незручні форми, оскільки його вузли не обмежені необхідністю залишатися з'єднаними з фіксованими сусідами.

Схожі симуляції