What is a Support Vector Machine (SVM)?

A Support Vector Machine is a supervised classifier that finds the hyperplane separating two classes with the largest possible margin — the widest empty corridor between the nearest points of each class. Those nearest points are called support vectors because they alone determine where the boundary sits; every other training point could be deleted without moving the solution. Maximising the margin, rather than just finding any separating line, tends to generalise better to new data because it leaves the most room for noise before a point crosses into the wrong class.

How does the kernel trick let an SVM draw curved boundaries?

The dual form of the SVM optimisation problem only ever needs dot products between pairs of training points, never the raw coordinates themselves. The kernel trick replaces that dot product x·z with a kernel function K(x,z) that computes the dot product as if the points had first been mapped into a much higher-dimensional (even infinite-dimensional) feature space — without ever constructing that space explicitly. A linear kernel gives a straight decision boundary in the original features; a polynomial kernel gives curved polynomial boundaries; the Gaussian RBF kernel K(x,z) = exp(−γ‖x−z‖²) gives smooth, highly flexible boundaries that can wrap around clusters, which is exactly what is needed to separate a slider's spin/velocity signature from a fastball's when the two overlap.

What does the regularisation parameter C control?

C is the trade-off knob in the soft-margin SVM objective: minimise ½‖w‖² + C·Σξᵢ, where ξᵢ are slack variables that let individual points sit inside the margin or even on the wrong side of it. A small C tolerates more margin violations in exchange for a wider, smoother margin — favouring generalisation over fitting every training point exactly. A large C penalises any violation heavily, forcing the boundary to bend tightly around outliers to classify almost everything correctly, which risks overfitting the specific pitches seen so far rather than the true pitch-type distributions.

What are support vectors and why do only some points matter?

After training, each point i has a Lagrange multiplier αᵢ from the dual optimisation. Points comfortably on the correct side of the margin end up with αᵢ = 0 and contribute nothing to the final decision function; only points on or inside the margin — the support vectors — have αᵢ > 0. The decision function is a weighted sum f(x) = Σ αᵢ yᵢ K(xᵢ,x) + b over only those support vectors, so a trained SVM can be extremely compact even when trained on a large dataset, and the count of support vectors reported live here is a direct readout of how many pitches are actually shaping the boundary.

How is the SVM actually solved — is it a real optimiser?

Yes. This simulation implements a simplified Sequential Minimal Optimisation (SMO) routine, the same dual coordinate-ascent idea John Platt introduced in 1998 and that underlies libraries like libsvm. At each pass it picks a violating pair of Lagrange multipliers, solves the small two-variable quadratic subproblem for them analytically subject to the box constraint 0 ≤ αᵢ ≤ C and the linear constraint Σ αᵢyᵢ = 0, updates the bias b from the KKT conditions, and repeats until no more violations are found within tolerance. Nothing about the boundary, margin width or support-vector set is hand-scripted — they all fall out of this genuine dual quadratic-programming solve on whatever pitch data currently exists.

How does one-vs-rest work for three pitch types?

A standard SVM is inherently a two-class (binary) classifier. To handle three pitch types — fastball, curveball and slider — this simulation trains three separate binary SVMs, each treating one pitch type as the positive class and the other two pooled together as the negative class. For a new pitch, all three decision functions f₁(x), f₂(x), f₃(x) are evaluated and the class whose classifier reports the largest (most confident) positive score wins. This one-vs-rest scheme is one of the simplest and most common ways to extend a binary classifier to multiple classes.

Why use spin rate and velocity to classify pitches?

Spin rate and release velocity are two of the most physically meaningful measurements captured by real ballpark tracking systems (such as Statcast). A four-seam fastball is thrown hardest with moderate backspin; a curveball is thrown noticeably slower with the highest spin rates, which produces the large top-down break; a slider sits in between on velocity but often shares spin characteristics closer to a fastball, which is why fastball-versus-slider separation is the hardest boundary here and benefits most from a non-linear RBF kernel rather than a straight line.

Home▸AI & Machine Learning▸Worp-classifier — Support Vector Machine Live

⚾ Worp-classifier — Support Vector Machine Live

Bekijk een echte kernel Support Vector Machine live de maximale-marge-grens leren tussen gesimuleerde worptypen, uit echte spinsnelheid- en snelheidskenmerken.

AI & Machine Learning3DGevorderd60 FPS

Over deze simulatie

Elke worp die een scout registreert, komt met een losraaksnelheid en een spinsnelheid rechtstreeks van een trackingradar. Deze simulator maakt van dat cijferpaar een echt machine-learning-classificatieprobleem: gegeven een fastball, een curveball en — optioneel — een slider, kan een Support Vector Machine een grens trekken die ze scheidt? In plaats van het antwoord na te bootsen, draait de pagina een echte vereenvoudigde Sequential Minimal Optimisation (SMO)-oplosser op welke worpen momenteel in de trainingsset bestaan, en lost het vanaf nul opnieuw op elke keer dat je een worp toevoegt of de kernel, de regularisatiesterkte C, of de kernelbandbreedte γ verandert.

🔬 Wat het laat zien

Een 3D-oppervlakteplot waarbij het horizontale vlak snelheid × spinsnelheid is en hoogte de ruwe beslissingsfunctiewaarde van de SVM is: f(x) = Σ αᵢyᵢK(xᵢ,x) + b. De doorsnede van het oppervlak met het z = 0-vlak is de werkelijke beslissingsgrens; de z = ±1-vlakken markeren de werkelijke marge. Trainingsworpen zijn bollen gekleurd naar worptype, met steunvectoren omringd in wit — zowel de grens als de steunvectorset worden live herberekend uit de huidige data, nooit hardgecodeerd.

🎮 Hoe te gebruiken

Kies een kernel (lineair, polynomiaal, of Gaussische RBF), sleep dan C om margebreedte af te wegen tegen trainingsnauwkeurigheid, en γ / graad om kernelflexibiliteit te hervormen. Schakel de slider-worp in om hier een 3-klasse, one-vs-rest-probleem van te maken. Druk op "Nieuwe worp" om een vers bemonsterde, gelabelde worp te streamen en zie de grens onmiddellijk opnieuw fitten, of schakel Auto-stream in om continu data te blijven voeden. Sleep om de 3D-weergave te draaien, scroll om in te zoomen.

💡 Wist je dat?

Omdat de snelheid en spin van een slider in echte Statcast-data daadwerkelijk overlappen met zowel fastballs als curveballs, kan geen rechte lijn alle drie worptypen perfect scheiden. Overschakelen van een lineaire kernel naar een RBF-kernel met een voldoend hoge γ laat de grens om de overlappende cluster heen buigen — een live demonstratie van precies waarom de kerneltruc bestaat.

Veelgestelde vragen

Wat is een Support Vector Machine (SVM)?

Een Support Vector Machine is een supervised classifier die het hypervlak vindt dat twee klassen scheidt met de grootst mogelijke marge — de breedste lege corridor tussen de dichtstbijzijnde punten van elke klasse. Die dichtstbijzijnde punten worden steunvectoren genoemd omdat zij alleen bepalen waar de grens ligt; elk ander trainingspunt zou verwijderd kunnen worden zonder de oplossing te verplaatsen. Het maximaliseren van de marge, in plaats van gewoon een scheidende lijn te vinden, generaliseert doorgaans beter naar nieuwe data omdat het de meeste ruimte overlaat voor ruis voordat een punt naar de verkeerde klasse overgaat.

Hoe laat de kerneltruc een SVM gebogen grenzen trekken?

De duale vorm van het SVM-optimalisatieprobleem heeft alleen ooit inproducten tussen paren trainingspunten nodig, nooit de ruwe coördinaten zelf. De kerneltruc vervangt dat inproduct x·z door een kernelfunctie K(x,z) die het inproduct berekent alsof de punten eerst waren afgebeeld op een veel hoger-dimensionale kenmerkenruimte — zonder die ruimte ooit expliciet te construeren. Een lineaire kernel geeft een rechte grens; een polynomiale kernel geeft gebogen polynomiale grenzen; de Gaussische RBF-kernel K(x,z) = exp(−γ‖x−z‖²) geeft gladde, flexibele grenzen die zich om overlappende clusters heen kunnen wikkelen.

Wat regelt de regularisatieparameter C?

C is de afwegingsknop in het zachte-marge-SVM-doel: minimaliseer ½‖w‖² + C·Σξᵢ, waarbij ξᵢ slack-variabelen zijn die individuele punten binnen de marge of aan de verkeerde kant ervan laten liggen. Een kleine C tolereert meer margeschendingen voor een bredere, gladdere marge — wat generalisatie bevordert. Een grote C bestraft schendingen zwaar, wat een strakkere fit afdwingt die het risico loopt overfit te raken op de specifieke worpen die tot nu toe zijn gezien.

Wat zijn steunvectoren en waarom doen alleen sommige punten ertoe?

Na training heeft elk punt i een Lagrange-multiplicator αᵢ. Punten die comfortabel aan de juiste kant van de marge liggen, eindigen met αᵢ = 0 en dragen niets bij aan de beslissingsfunctie; alleen punten op of binnen de marge — de steunvectoren — hebben αᵢ > 0. De beslissingsfunctie f(x) = Σ αᵢyᵢK(xᵢ,x) + b sommeert alleen over die steunvectoren, dus een getrainde SVM kan uiterst compact zijn, zelfs vanuit een grotere dataset.

Hoe wordt de SVM eigenlijk opgelost — is het een echte optimizer?

Ja. Deze simulatie implementeert een vereenvoudigde Sequential Minimal Optimisation (SMO)-routine — het duale coördinaat-stijgingsidee dat John Platt in 1998 introduceerde en dat ten grondslag ligt aan bibliotheken zoals libsvm. Elke doorgang kiest een schendend paar Lagrange-multiplicatoren, lost hun tweevariabele kwadratische deelprobleem analytisch op onder de boxbeperking 0 ≤ αᵢ ≤ C en Σ αᵢyᵢ = 0, werkt de bias bij vanuit de KKT-voorwaarden, en herhaalt tot geen schendingen binnen tolerantie overblijven.

Hoe werkt one-vs-rest voor drie worptypen?

Een standaard-SVM is inherent binair. Om fastball, curveball en slider samen te behandelen, traint de simulatie drie afzonderlijke binaire SVM's, elk met één worptype als positief en de andere twee samengevoegd als negatief. Voor een nieuwe worp worden alle drie de beslissingsfuncties geëvalueerd en wint de klasse met de grootste positieve score — een van de eenvoudigste manieren om een binaire classifier uit te breiden naar meerdere klassen.

⚙ Onder de motorkap

Een vereenvoudigde SMO duale-coördinaat-stijgingsoplosser fit een zachte-marge kernel-SVM op live spinsnelheid- en snelheidsdata elke keer dat een worp binnenstroomt of een hyperparameter verandert; het 3D-oppervlak, de margevlakken en steunvectoren worden allemaal daadwerkelijk herberekend, nooit gescript.

SVMKernel TrickSMOClassificationBaseball Analytics

3D · Three.js / WebGL renderer · 60 FPS target · runs fully client-side, no install