🛒 Winkelwagen-verlaatvoorspeller — Live Boosted Stumps

AdaBoost (Adaptive Boosting) bouwt een sterke classifier door veel zwakke leerlingen te combineren tot een gewogen-meerderheidsstem. Een decision stump — een splitsing met één kenmerk en één drempel — is de klassieke zwakke leerling omdat die alleen iets beter dan willekeurig raden hoeft te presteren. De kracht van AdaBoost komt van het herweegschema: na elke ronde krijgen voorbeelden die het huidige ensemble verkeerd classificeert een verhoogd gewicht, waardoor de volgende stump gedwongen wordt zich te richten op de moeilijke gevallen. Gecombineerd over genoeg rondes kan een reeks zeer eenvoudige stumps een beslissingsgrens benaderen die veel complexer is dan wat een enkele stump zou kunnen weergeven.

Voor elk kandidaatkenmerk (sessieduur, items in winkelwagen, winkelwagenwaarde, paginaweergaven, terugkerende-bezoeker-vlag) scant het algoritme kandidaatdrempels tussen gesorteerde trainingswaarden en berekent voor beide polariteiten van de splitsing de gewogen classificatiefout met de huidige per-voorbeeld-gewichten. De stump met de laagste gewogen fout over elk kenmerk, elke drempel en polariteit wordt geselecteerd — dit is een uitputtende, echte zoektocht, geen heuristische kortere weg, dus de fout van de ronde is een echt minimum over de kandidatenset bij de gekozen zoekgranulariteit.

Gegeven de gewogen fout ε van de winnende stump, is het stemgewicht alpha = 0,5·ln((1−ε)/ε), geschaald door de leersnelheid (shrinkage) instelling. Het gewicht van elk trainingsvoorbeeld wordt dan vermenigvuldigd met exp(−alpha·y·h(x)) — het gewicht van correct geclassificeerde voorbeelden krimpt en dat van verkeerd geclassificeerde voorbeelden groeit exponentieel — voordat de hele gewichtsvector wordt genormaliseerd tot een som van één. Dit is de exacte AdaBoost.M1-updateregel, en daarom groeien herhaaldelijk verkeerd geclassificeerde sessies zichtbaar tot grotere punten ronde na ronde.

De grafiek volgt de werkelijke 0/1-trainingsfout van het groeiende gewogen-meerderheidsstem-ensemble, niet alleen de gewogen fout van de nieuwste stump. Omdat elke nieuwe stump wordt gekozen om de voorbeelden te herstellen die het ensemble momenteel verkeerd classificeert, kan het toevoegen ervan af en toe een paar eerder correcte voorbeelden met laag gewicht omdraaien. De algemene trend blijft een echte, verifieerbare afname van de trainingsfout van het ensemble naarmate rondes zich opstapelen, wat het kenmerk is van boosting-convergentie.

Elke synthetische sessie krijgt vijf kenmerken en een label gegenereerd uit een echte, niet-lineaire onderliggende regel: een sessie wordt gemarkeerd als verlaten als die eruitziet als een snelle bounce met lage betrokkenheid (korte duur en weinig paginaweergaven) OF een winkelwagen met hoge waarde van een eerste bezoeker die aarzelt vóór het afrekenen — met ongeveer 8% willekeurige labelruis erbovenop. Omdat deze regel twee verschillende kenmerken combineert, kan geen enkele decision stump het perfect scheiden, precies waarom een ensemble van meerdere stumps nodig is en waarom de trainingsfout blijft verbeteren over rondes.