📧 Spamfilter — Live Naive Bayes-classifier

Naive Bayes is een probabilistische classifier gebouwd op de stelling van Bayes: P(klasse|woorden) is evenredig met P(klasse) maal het product van P(woord|klasse) over elk woord in het bericht. Voor spamfiltering zijn de twee klassen spam en ham (legitieme post), en de classifier wordt getraind door te tellen hoe vaak elk woord voorkomt in gelabelde spam- versus ham-voorbeelden. Ondanks de eenvoud blijft het een sterke, snelle basislijn voor tekstclassificatie omdat woordfrequenties alleen al een verrassende hoeveelheid signaal dragen over de bedoeling van een bericht.

Het is naïef omdat het aanneemt dat het voorkomen van elk woord voorwaardelijk onafhankelijk is van elk ander woord, gegeven de klasse — in werkelijkheid zijn woorden zoals "gratis" en "prijs" gecorreleerd, niet onafhankelijk. Deze aanname is bijna altijd fout in echte taal, maar maakt de wiskunde hanteerbaar: in plaats van een gezamenlijke kans over alle woordcombinaties te schatten, heeft het model alleen eenvoudige per-woord-frequentietellingen nodig, wat Naive Bayes zo snel maakt om te trainen en zo bestand tegen overfitting op kleine datasets.

Zonder smoothing zou elk woord dat nooit in de spam-trainingsset voorkwam P(woord|spam) = 0 opleveren, en vermenigvuldigen met nul zou de hele posterior naar nul dwingen, ongeacht elk ander woord in het bericht. Laplace-(add-one, of algemener add-alpha)-smoothing voegt een kleine constante toe aan elke woordtelling voordat wordt gedeeld door het klassetotaal, zodat ongeziene of zeldzame woorden een kleine niet-nul kans krijgen in plaats van de hele berekening te vernietigen. Deze simulatie gebruikt alpha = 1 over de live woordenschatgrootte, opnieuw berekend telkens wanneer een nieuw trainingsvoorbeeld de woordfrequentietabel verandert.

Het model geeft altijd een continue posterior-kans dat een bericht spam is, P(spam|woorden), tussen 0 en 1. De drempel-schuifregelaar stelt de grens in waarboven een bericht als spam in plaats van ham wordt gelabeld — die verhogen maakt het filter conservatiever (minder valse positieven, meer spam die doorglipt), terwijl die verlagen meer spam vangt tegen de prijs van meer gemarkeerde legitieme e-mail. Het verplaatsen van de schuifregelaar classificeert de huidige e-mail direct opnieuw en berekent de achtergehouden nauwkeurigheidsmetriek opnieuw.

Multinomiale Naive Bayes was een van de eerste werkelijk effectieve spamfilters, gebruikt door tools zoals de originele SpamAssassin en vroege Bayesiaanse filters in de jaren 2000, en de log-aannemelijkheidsratio-wiskunde in deze simulatie is exact de echte formule, geen vereenvoudigde vervanging. Moderne commerciële filters voegen veel meer signaal toe — afzenderreputatie, links, headers, afbeeldingen en vaak neurale tekstmodellen — maar de woordfrequentie-Naive-Bayes-kern die hier wordt getoond is een getrouwe, historisch belangrijke bouwsteen van dat grotere systeem.