⚾ Classificatore di lanci — Support Vector Machine dal vivo

Una Support Vector Machine è un classificatore supervisionato che trova l'iperpiano che separa due classi con il margine più ampio possibile — il corridoio vuoto più largo tra i punti più vicini di ciascuna classe. Quei punti più vicini sono chiamati vettori di supporto perché sono loro soli a determinare dove si trova il confine; ogni altro punto di addestramento potrebbe essere eliminato senza spostare la soluzione. Massimizzare il margine, invece di trovare semplicemente una linea separatrice qualsiasi, tende a generalizzare meglio su nuovi dati perché lascia il maggiore spazio possibile al rumore prima che un punto attraversi verso la classe sbagliata.

La forma duale del problema di ottimizzazione della SVM richiede sempre e solo prodotti scalari tra coppie di punti di addestramento, mai le coordinate grezze stesse. Il trucco del kernel sostituisce quel prodotto scalare x·z con una funzione kernel K(x,z) che calcola il prodotto scalare come se i punti fossero stati prima mappati in uno spazio di caratteristiche molto più dimensionale — senza mai costruire esplicitamente quello spazio. Un kernel lineare dà un confine rettilineo; un kernel polinomiale dà confini polinomiali curvi; il kernel RBF gaussiano K(x,z) = exp(−γ‖x−z‖²) dà confini fluidi e flessibili che possono avvolgere cluster sovrapposti.

C è la manopola di compromesso nell'obiettivo della SVM a margine morbido: minimizzare ½‖w‖² + C·Σξᵢ, dove ξᵢ sono variabili di rilassamento che permettono a singoli punti di stare dentro il margine o dal lato sbagliato. Un C piccolo tollera più violazioni del margine per un margine più ampio e più fluido — favorendo la generalizzazione. Un C grande penalizza pesantemente le violazioni, forzando un adattamento più stretto che rischia l'overfitting sui lanci specifici visti finora.

Dopo l'addestramento, ogni punto i ha un moltiplicatore di Lagrange αᵢ. I punti comodamente dal lato corretto del margine finiscono con αᵢ = 0 e non contribuiscono in nulla alla funzione di decisione; solo i punti sul margine o al suo interno — i vettori di supporto — hanno αᵢ > 0. La funzione di decisione f(x) = Σ αᵢyᵢK(xᵢ,x) + b somma solo su quei vettori di supporto, quindi una SVM addestrata può essere estremamente compatta anche partendo da un set di dati più grande.

Sì. Questa simulazione implementa una routine semplificata di Ottimizzazione Minimale Sequenziale (SMO) — l'idea di ascesa duale delle coordinate che John Platt introdusse nel 1998 e che è alla base di librerie come libsvm. Ogni passata sceglie una coppia di moltiplicatori di Lagrange che viola i vincoli, risolve analiticamente il loro sottoproblema quadratico a due variabili sotto il vincolo box 0 ≤ αᵢ ≤ C e Σ αᵢyᵢ = 0, aggiorna il bias dalle condizioni KKT, e ripete finché non restano violazioni entro la tolleranza.

Una SVM standard è intrinsecamente binaria. Per gestire insieme veloce, curva e slider, la simulazione addestra tre SVM binarie separate, ciascuna trattando un tipo di lancio come positivo e gli altri due raggruppati come negativo. Per un nuovo lancio, tutte e tre le funzioni di decisione vengono valutate e vince la classe con il punteggio positivo più alto — uno dei modi più semplici per estendere un classificatore binario a classi multiple.