⚾ Wurf-Klassifikator — Support Vector Machine live

Eine Support Vector Machine ist ein überwachter Klassifikator, der die Hyperebene findet, die zwei Klassen mit der größtmöglichen Marge trennt — dem breitesten leeren Korridor zwischen den nächstgelegenen Punkten jeder Klasse. Diese nächstgelegenen Punkte werden Support-Vektoren genannt, weil allein sie bestimmen, wo die Grenze verläuft; jeder andere Trainingspunkt könnte gelöscht werden, ohne die Lösung zu verändern. Die Marge zu maximieren, statt nur irgendeine trennende Linie zu finden, verallgemeinert tendenziell besser auf neue Daten, da es den meisten Raum für Rauschen lässt, bevor ein Punkt in die falsche Klasse überwechselt.

Die duale Form des SVM-Optimierungsproblems benötigt nur je Skalarprodukte zwischen Paaren von Trainingspunkten, nie die rohen Koordinaten selbst. Der Kernel-Trick ersetzt dieses Skalarprodukt x·z durch eine Kernfunktion K(x,z), die das Skalarprodukt so berechnet, als wären die Punkte zunächst in einen wesentlich höherdimensionalen Merkmalsraum abgebildet worden — ohne diesen Raum je explizit zu konstruieren. Ein linearer Kernel ergibt eine gerade Grenze; ein polynomialer Kernel ergibt gekrümmte polynomiale Grenzen; der Gauß-RBF-Kernel K(x,z) = exp(−γ‖x−z‖²) ergibt glatte, flexible Grenzen, die sich um überlappende Cluster wickeln können.

C ist der Kompromissregler im Soft-Margin-SVM-Ziel: minimiere ½‖w‖² + C·Σξᵢ, wobei ξᵢ Schlupfvariablen sind, die einzelnen Punkten erlauben, innerhalb der Marge oder auf der falschen Seite zu liegen. Ein kleines C toleriert mehr Margenverletzungen für eine breitere, glattere Marge — es bevorzugt Generalisierung. Ein großes C bestraft Verletzungen stark und erzwingt eine engere Anpassung, die riskiert, die konkret gesehenen Würfe zu überanpassen.

Nach dem Training hat jeder Punkt i einen Lagrange-Multiplikator αᵢ. Punkte, die bequem auf der richtigen Seite der Marge liegen, enden mit αᵢ = 0 und tragen nichts zur Entscheidungsfunktion bei; nur Punkte auf oder innerhalb der Marge — die Support-Vektoren — haben αᵢ > 0. Die Entscheidungsfunktion f(x) = Σ αᵢyᵢK(xᵢ,x) + b summiert nur über diese Support-Vektoren, sodass eine trainierte SVM selbst bei größerem Datensatz extrem kompakt sein kann.

Ja. Diese Simulation implementiert eine vereinfachte Sequential-Minimal-Optimization-(SMO-)Routine — die duale Koordinatenaufstiegs-Idee, die John Platt 1998 einführte und die Bibliotheken wie libsvm zugrunde liegt. Jeder Durchlauf wählt ein verletzendes Paar von Lagrange-Multiplikatoren, löst deren Zwei-Variablen-quadratisches Teilproblem analytisch unter der Box-Nebenbedingung 0 ≤ αᵢ ≤ C und Σ αᵢyᵢ = 0, aktualisiert den Bias aus den KKT-Bedingungen und wiederholt dies, bis keine Verletzungen innerhalb der Toleranz verbleiben.

Eine Standard-SVM ist von Natur aus binär. Um Fastball, Curveball und Slider gemeinsam zu handhaben, trainiert die Simulation drei separate binäre SVMs, wobei jede einen Wurftyp als positiv und die anderen beiden zusammen als negativ behandelt. Für einen neuen Wurf werden alle drei Entscheidungsfunktionen ausgewertet, und die Klasse mit dem größten positiven Wert gewinnt — eine der einfachsten Möglichkeiten, einen binären Klassifikator auf mehrere Klassen zu erweitern.