Cos'è AdaBoost e perché usare i decision stump come weak learner?

AdaBoost costruisce un classificatore forte a partire da un voto di maggioranza ponderato di molti weak learner. Un decision stump, cioè una singola divisione a soglia su una caratteristica, deve solo battere l'indovinare casuale; lo schema di riponderazione di AdaBoost costringe ogni nuovo stump a concentrarsi sui campioni che l'ensemble attualmente sbaglia.

Come viene scelto il miglior stump di ogni round?

L'algoritmo scansiona in modo esaustivo le soglie candidate per ogni caratteristica ed entrambe le polarità di divisione, calcolando il vero errore di classificazione ponderato secondo i pesi correnti dei campioni, e mantiene la divisione con l'errore ponderato più basso.

Come vengono aggiornati i pesi dei campioni e degli stump?

alpha = 0,5 · ln((1-err)/err), scalato dal controllo del tasso di apprendimento. I pesi dei campioni vengono moltiplicati per exp(-alpha·y·h(x)) e rinormalizzati, esattamente la regola di AdaBoost.M1.

Home▸IA e Machine Learning▸Predittore di Abbandono del Carrello — Stump Potenziati dal Vivo

🛒 Predittore di Abbandono del Carrello — Stump Potenziati dal Vivo

Osserva un vero ensemble AdaBoost di decision stump addestrarsi dal vivo su caratteristiche di sessioni di shopping simulate, con ogni weak learner che corregge le sessioni classificate male nel round precedente.

IA e Machine Learning3DAvanzato60 FPS

Informazioni su questa simulazione

Questa pagina esegue un vero ensemble AdaBoost (AdaBoost.M1) di weak learner a decision stump su un dataset e-commerce sintetico. Ogni sessione di shopping simulata ha cinque caratteristiche — durata della sessione, articoli nel carrello, valore del carrello, visualizzazioni di pagina e un flag di visitatore di ritorno — e un'etichetta generata da una vera regola non lineare (un rapido abbandono a basso coinvolgimento OPPURE un carrello di alto valore da un visitatore alla prima visita) più circa l'8% di rumore nelle etichette. Poiché nessun singolo stump allineato agli assi può separare quella regola, l'errore di addestramento dell'ensemble diminuisce realmente solo man mano che più stump si combinano.

Ogni round di boosting esegue una ricerca ponderata esaustiva su ogni caratteristica, soglia candidata e polarità di divisione per trovare lo stump con il minor errore di classificazione ponderato secondo i pesi correnti per campione, calcola il suo peso di voto (alpha) da quel tasso di errore, quindi aumenta esponenzialmente il peso dei campioni classificati male prima di rinormalizzare tutti i pesi in modo che sommino a uno — esattamente l'aggiornamento AdaBoost da manuale.

Perché i punti classificati male crescono visibilmente?

L'aggiornamento esponenziale del peso di ogni round moltiplica il peso di un campione classificato male per e^(alpha), e la dimensione del punto renderizzato è legata direttamente a quello stesso peso — così una sessione che l'ensemble continua a sbagliare si gonfia round dopo round finché uno stump futuro non è finalmente costretto a correggerla.

L'accuratezza sul test è una vera generalizzazione?

Sì — l'insieme di test tenuto da parte viene generato dalla stessa regola sottostante ma non viene mai usato per scegliere gli stump o aggiornare i pesi, quindi la sua accuratezza a ogni round è una misura genuina di quanto bene l'ensemble in crescita generalizzi oltre le sessioni di addestramento su cui è stato adattato.

⚙ Sotto il cofano

Three.jsWebGLAIMachine Learning

3D · Renderer Three.js / WebGL · obiettivo 60 FPS · esegue interamente lato client, senza installazione