⚾ Klasyfikator rzutów — maszyna wektorów nośnych na żywo

Maszyna wektorów nośnych to nadzorowany klasyfikator, który znajduje hiperpłaszczyznę rozdzielającą dwie klasy z możliwie największym marginesem — najszerszym pustym korytarzem między najbliższymi punktami każdej klasy. Te najbliższe punkty nazywane są wektorami nośnymi, ponieważ to one same decydują o położeniu granicy; każdy inny punkt treningowy można by usunąć bez zmiany rozwiązania. Maksymalizacja marginesu, a nie tylko znalezienie dowolnej linii rozdzielającej, zwykle lepiej generalizuje do nowych danych, ponieważ pozostawia najwięcej miejsca na szum, zanim punkt przejdzie do złej klasy.

Postać dualna problemu optymalizacji SVM potrzebuje jedynie iloczynów skalarnych między parami punktów treningowych, nigdy samych surowych współrzędnych. Sztuczka jądrowa zastępuje ten iloczyn skalarny x·z funkcją jądra K(x,z), która oblicza iloczyn skalarny tak, jakby punkty zostały najpierw odwzorowane w znacznie wyższej przestrzeni cech — bez jawnego konstruowania tej przestrzeni. Jądro liniowe daje prostą granicę; jądro wielomianowe daje zakrzywione granice wielomianowe; jądro gaussowskie RBF K(x,z) = exp(−γ‖x−z‖²) daje gładkie, elastyczne granice, które mogą owijać się wokół nakładających się skupień.

C to pokrętło kompromisu w celu SVM z miękkim marginesem: minimalizuj ½‖w‖² + C·Σξᵢ, gdzie ξᵢ to zmienne swobodne pozwalające poszczególnym punktom znajdować się wewnątrz marginesu lub po złej stronie. Małe C toleruje więcej naruszeń marginesu dla szerszego, gładszego marginesu — faworyzując generalizację. Duże C mocno karze naruszenia, wymuszając ciaśniejsze dopasowanie, co niesie ryzyko nadmiernego dopasowania do konkretnych dotychczas widzianych rzutów.

Po treningu każdy punkt i ma mnożnik Lagrange'a αᵢ. Punkty wygodnie leżące po właściwej stronie marginesu kończą z αᵢ = 0 i nie wnoszą nic do funkcji decyzyjnej; tylko punkty na marginesie lub wewnątrz niego — wektory nośne — mają αᵢ > 0. Funkcja decyzyjna f(x) = Σ αᵢyᵢK(xᵢ,x) + b sumuje tylko po tych wektorach nośnych, więc wytrenowana SVM może być niezwykle kompaktowa nawet z większego zbioru danych.

Tak. Ta symulacja implementuje uproszczoną procedurę sekwencyjnej optymalizacji minimalnej (SMO) — ideę dualnego wznoszenia współrzędnych, którą John Platt wprowadził w 1998 roku i która leży u podstaw bibliotek takich jak libsvm. Każde przejście wybiera naruszającą parę mnożników Lagrange'a, rozwiązuje ich dwuzmienny podproblem kwadratowy analitycznie w ramach ograniczenia skrzynkowego 0 ≤ αᵢ ≤ C i Σ αᵢyᵢ = 0, aktualizuje obciążenie na podstawie warunków KKT i powtarza, aż w granicach tolerancji nie pozostaną żadne naruszenia.

Standardowa SVM jest z natury binarna. Aby obsłużyć razem fastball, curveball i slider, symulacja trenuje trzy oddzielne binarne SVM, z których każda traktuje jeden typ rzutu jako pozytywny, a pozostałe dwa połączone jako negatywny. Dla nowego rzutu wszystkie trzy funkcje decyzyjne są obliczane, a wygrywa klasa z największym pozytywnym wynikiem — jeden z najprostszych sposobów rozszerzenia klasyfikatora binarnego na wiele klas.