⚾ Класифікатор подач — метод опорних векторів наживо

Машина опорних векторів — це класифікатор з учителем, який знаходить гіперплощину, що розділяє два класи з найбільшим можливим відступом — найширшим порожнім коридором між найближчими точками кожного класу. Ці найближчі точки називаються опорними векторами, оскільки саме вони визначають, де проходить межа; будь-яку іншу навчальну точку можна було б видалити, не змінивши розв'язок. Максимізація відступу, а не просто пошук будь-якої розділяючої лінії, зазвичай краще узагальнюється на нові дані, оскільки залишає найбільше простору для шуму, перш ніж точка перейде до неправильного класу.

Подвійна форма задачі оптимізації SVM потребує лише скалярних добутків між парами навчальних точок, ніколи не самих вихідних координат. Ядровий трюк замінює цей скалярний добуток x·z функцією ядра K(x,z), яка обчислює скалярний добуток так, ніби точки спочатку були відображені в набагато вищовимірний простір ознак — без явного побудови цього простору. Лінійне ядро дає пряму межу; поліноміальне ядро дає вигнуті поліноміальні межі; гаусове RBF-ядро K(x,z) = exp(−γ‖x−z‖²) дає гладкі, гнучкі межі, що можуть огортати кластери, що перетинаються.

C — це регулятор компромісу в цільовій функції SVM з м'яким відступом: мінімізувати ½‖w‖² + C·Σξᵢ, де ξᵢ — це змінні нежорсткості, які дозволяють окремим точкам перебувати всередині відступу або на неправильному боці. Мале C допускає більше порушень відступу заради ширшого, гладкішого відступу — надаючи перевагу узагальненню. Велике C сильно штрафує порушення, змушуючи до жорсткішого підганяння, що ризикує перенавчанням на конкретних побачених досі подачах.

Після навчання кожна точка i має множник Лагранжа αᵢ. Точки, що впевнено перебувають на правильному боці відступу, отримують αᵢ = 0 і не роблять жодного внеску у функцію рішення; лише точки на межі відступу або всередині нього — опорні вектори — мають αᵢ > 0. Функція рішення f(x) = Σ αᵢyᵢK(xᵢ,x) + b підсумовує лише за цими опорними векторами, тож навчена SVM може бути надзвичайно компактною навіть при більшому наборі даних.

Так. Ця симуляція реалізує спрощену процедуру послідовної мінімальної оптимізації (SMO) — ідею подвійного координатного сходження, яку Джон Платт запропонував у 1998 році і яка лежить в основі бібліотек на кшталт libsvm. Кожен прохід обирає пару множників Лагранжа, що порушують умови, аналітично розв'язує їхню двозмінну квадратичну підзадачу за умови обмеження-рамки 0 ≤ αᵢ ≤ C та Σ αᵢyᵢ = 0, оновлює зсув із умов KKT, і повторює, доки не залишиться порушень у межах допуску.

Стандартна SVM за своєю суттю бінарна. Щоб обробити фастбол, керв-бол і слайдер разом, симуляція навчає три окремі бінарні SVM, кожна з яких розглядає один тип подачі як позитивний, а два інші, об'єднані разом, як негативний. Для нової подачі обчислюються всі три функції рішення, і перемагає клас із найбільшим позитивним показником — один із найпростіших способів розширити бінарний класифікатор на кілька класів.