📧 Спам-фільтр — Наївний Байєсів Класифікатор Наживо

Наївний Байєс — імовірнісний класифікатор, побудований на теоремі Байєса: P(клас|слова) пропорційне P(клас), помноженому на добуток P(слово|клас) для кожного слова в повідомленні. Для фільтрації спаму два класи — спам і не спам (легітимна пошта), і класифікатор навчається шляхом підрахунку того, як часто кожне слово з'являється в мічених прикладах спаму порівняно з не спамом. Попри свою простоту, він залишається сильною, швидкою базовою моделлю для класифікації тексту.

Він наївний, бо припускає, що поява кожного слова умовно незалежна від будь-якого іншого слова за умови класу — насправді слова на кшталт «безкоштовно» й «приз» корельовані, а не незалежні. Це припущення майже завжди хибне в реальній мові, але воно робить математику здійсненною: замість оцінки спільної ймовірності по всіх комбінаціях слів моделі потрібні лише прості підрахунки частоти окремих слів.

Без згладжування будь-яке слово, що ніколи не траплялося в навчальному наборі спаму, дало б P(слово|спам) = 0, а множення на нуль обнулило б увесь апостеріор незалежно від решти слів у повідомленні. Згладжування Лапласа (додавання одиниці, чи загальніше додавання альфа) додає невелику константу до кожного підрахунку слова перед діленням на суму класу, тож незустрічні чи рідкісні слова отримують малу ненульову ймовірність замість обнулення всього обчислення.

Модель завжди видає безперервну апостеріорну ймовірність того, що повідомлення є спамом, P(спам|слова), від 0 до 1. Повзунок порогу встановлює межу, вище якої повідомлення позначається як спам, а не не спам — підвищення порогу робить фільтр консервативнішим (менше хибнопозитивних, більше спаму проходить), а зниження ловить більше спаму ціною більшої кількості позначеної легітимної пошти.

Мультиноміальний наївний Байєс був одним із перших справді ефективних спам-фільтрів, який використовували такі інструменти, як оригінальний SpamAssassin і ранні байєсівські фільтри у 2000-х, а математика логарифмічного відношення правдоподібності в цій симуляції — точна реальна формула, а не спрощена заміна. Сучасні комерційні фільтри додають набагато більше сигналів — репутацію відправника, посилання, заголовки, зображення й часто нейронні текстові моделі — але ядро наївного Байєса на частоті слів, показане тут, є вірним, історично важливим будівельним блоком тієї більшої системи.