🧠 Мережа Радіальних Базисних Функцій
Досліджуйте, як мережі RBF використовують локалізовані гауссові функції для апроксимації меж рішень.
Про цю симуляцію
Ця симуляція навчає мережу радіальних базисних функцій (RBF) апроксимувати одновимірну цільову криву. Кожен базисний елемент — це гаусіана φⁱ(x) = exp(−|x−cⁱ|²/2σ²) з центром у точці cⁱ, знайденій за допомогою кластеризації k-середніх на навчальних вхідних даних. Після фіксації центрів вихідні ваги w обчислюються напряму методом лінійних найменших квадратів (нормальні рівняння Aw = b, розв'язані методом гауссового виключення з невеликим регуляризаційним доданком для стійкості), тож вихід мережі ŷ = Σ wⁱ·φⁱ(x) є зваженою сумою «горбиків». Можна спостерігати, як кількість базисних функцій N та їхня ширина σ визначають компроміс між недонавчанням і перенавчанням на зашумлених даних.
🔬 Що це показує
Розсіювання навчальних точок з обраного набору даних (синусоїда, зашумлена синусоїда, сходинка або чирп-сигнал), окремі зважені гаусові базисні функції (кольорові «горбики», кожен з центром у центрі k-середніх) та результуюча підігнана крива ŷ(x), що є їхньою сумою. Статистика в реальному часі показує середньоквадратичну похибку (MSE), R², кількість центрів та діапазон підігнаних вихідних ваг.
🎮 Як користуватися
Перетягуйте повзунок Базисні функції N (2–30), щоб додавати чи прибирати гаусові елементи, та Ширина σ (0.02–0.5), щоб робити кожен «горбик» вужчим або ширшим. Оберіть набір даних у випадному списку, увімкніть Показати окремі базисні функції, щоб бачити чи приховати кольорові криві компонентів, потім натисніть Підігнати RBF, щоб перезапустити k-середні та метод найменших квадратів, або Нові дані, щоб згенерувати нові навчальні точки.
💡 А чи знали ви?
Мережі RBF були одними з перших практичних універсальних апроксиматорів функцій у машинному навчанні, що набули популярності наприкінці 1980-х років. Оскільки центри прихованого шару знаходяться без учителя (методом k-середніх), а підганяються лише вихідні ваги (лінійним) методом найменших квадратів, навчання мережі RBF набагато дешевше, ніж зворотне поширення похибки через глибоку нейронну мережу порівнянної місткості.
Поширені запитання
Що таке мережа радіальних базисних функцій?
Мережа RBF — це двошарова модель, яка апроксимує функцію як зважену суму гаусових «горбикових» функцій. Кожен прихований елемент обчислює φⁱ(x) = exp(−|x−cⁱ|²/2σ²) — значення, що досягає піку 1, коли x перебуває в центрі cⁱ, і плавно спадає до 0 на віддалі. Вихід мережі — це лінійна комбінація ŷ = Σ wⁱ·φⁱ(x) цих «горбиків», тож вона може відтворювати гладкі криві шляхом накладання багатьох локалізованих гаусіан.
Як насправді обчислюються центри та ваги?
Симуляція обирає центри у два етапи, відтворюючи класичну схему навчання RBF. Спочатку кластеризація k-середніх виконується на навчальних значеннях x до 50 ітерацій, приписуючи кожну точку до найближчого центра та переобчислюючи середнє, доки центри не стабілізуються — це фіксує розташування кожної гаусіани. Далі, за фіксованих центрів і ширини, вихідні ваги знаходяться шляхом розв'язання задачі лінійних найменших квадратів (ΦᵀΦ)w = Φᵀy методом гауссового виключення, де Φ — матриця активацій базисних функцій. До діагоналі додається невеликий регуляризаційний доданок (1e-6) виключно для чисельної стійкості системи.
Що саме контролюють повзунки N та σ?
N задає, скільки гаусових базисних функцій (а отже й центрів k-середніх) використовує мережа — від 2 до 30. σ контролює ширину кожного гаусового «горбика»: мале σ робить кожну базисну функцію вузькою та сильно локалізованою, дозволяючи мережі відтворювати різкі локальні деталі, але з ризиком перенавчання на зашумлених даних; велике σ робить «горбики» широкими й перекритими, даючи гладкішу, більш усереднену підгонку, яка може недонавчатися на різких особливостях, як-от функція сходинки.
Що MSE та R² говорять про якість підгонки?
Середньоквадратична похибка (MSE) — це середнє квадратів різниць між істинним значенням y кожної навчальної точки та прогнозом мережі: чим менше значення, тим точніша підгонка. R² (коефіцієнт детермінації) порівнює цю залишкову похибку з дисперсією самих даних, тобто показує, яку частку варіації цільової величини пояснює модель: значення, близькі до 1, означають, що підігнана крива щільно відповідає даним, а низькі або від'ємні значення означають погану відповідність — це зазвичай трапляється, коли N занадто мале або σ занадто велике чи занадто мале для обраного набору даних.
Чому k-середні іноді розміщують центри нерівномірно?
K-середні ініціалізують центри, випадково вибираючи точки з навчальних даних, а потім ітеративно перепризначають кожну точку до найближчого центра і переміщують кожен центр у середню точку своїх приписаних точок. Оскільки початкові центри випадкові, а алгоритм гарантує збіжність лише до локального оптимуму, центри можуть скупчуватися густіше там, де навчальні дані щільніші (наприклад, поблизу швидких коливань набору даних «чирп»), і рідше — в інших місцях. Це очікувана поведінка, а не помилка, тому натискання «Нові дані» або повторна підгонка щоразу можуть трохи змістити позиції «горбиків».