Czym jest AdaBoost i dlaczego jako słabe modele używa się pieńków decyzyjnych?

AdaBoost buduje silny klasyfikator na podstawie ważonego głosowania większościowego wielu słabych modeli. Pieniek decyzyjny — podział progowy oparty na jednej cesze — musi jedynie przewyższyć losowe zgadywanie; schemat przeważania AdaBoost zmusza każdy nowy pieniek do skupienia się na próbkach, które zespół aktualnie klasyfikuje błędnie.

Jak wybierany jest najlepszy pieniek w każdej rundzie?

Algorytm wyczerpująco przeszukuje kandydujące progi dla każdej cechy i obu biegunowości podziału, obliczając rzeczywisty ważony błąd klasyfikacji przy aktualnych wagach próbek, i zachowuje podział o najniższym ważonym błędzie.

Jak aktualizowane są wagi próbek i pieńków?

alpha = 0.5·ln((1-err)/err), skalowane przez kontrolkę szybkości uczenia. Wagi próbek są mnożone przez exp(-alpha·y·h(x)) i renormalizowane — dokładnie zgodnie z regułą AdaBoost.M1.

Strona główna▸SI i uczenie maszynowe▸Predyktor Porzucenia Koszyka — Wzmocnione Pieńki Decyzyjne na Żywo

🛒 Predyktor Porzucenia Koszyka — Wzmocnione Pieńki Decyzyjne na Żywo

Obserwuj, jak prawdziwy zespół AdaBoost złożony z pieńków decyzyjnych trenuje się na żywo na cechach symulowanych sesji zakupowych, a każdy słaby model koryguje błędnie sklasyfikowane sesje z poprzedniej rundy.

SI i uczenie maszynowe3DZaawansowany60 FPS

O tej symulacji

Ta strona uruchamia prawdziwy zespół AdaBoost (AdaBoost.M1) złożony ze słabych modeli w postaci pieńków decyzyjnych na syntetycznym zbiorze danych e-commerce. Każda symulowana sesja zakupowa ma pięć cech — czas trwania sesji, liczbę przedmiotów w koszyku, wartość koszyka, liczbę odsłon strony i flagę powracającego użytkownika — oraz etykietę wygenerowaną z prawdziwej nieliniowej reguły (szybkie odbicie o niskim zaangażowaniu LUB koszyk o wysokiej wartości od nowego użytkownika) plus około 8% szumu etykiet. Ponieważ żaden pojedynczy pieniek wyrównany do osi nie może rozdzielić tej reguły, błąd treningowy zespołu naprawdę maleje tylko wtedy, gdy łączy się coraz więcej pieńków.

Każda runda boostingu wykonuje wyczerpujące ważone przeszukiwanie każdej cechy, progu kandydującego i biegunowości podziału, aby znaleźć pieniek o najniższym ważonym błędzie klasyfikacji przy aktualnych wagach poszczególnych próbek, oblicza jego wagę głosu (alpha) na podstawie tego wskaźnika błędu, a następnie wykładniczo zwiększa wagi błędnie sklasyfikowanych próbek, po czym renormalizuje wszystkie wagi tak, aby sumowały się do jedności — dokładnie zgodnie z podręcznikową aktualizacją AdaBoost.

Dlaczego błędnie sklasyfikowane punkty widocznie rosną?

Wykładnicza aktualizacja wagi w każdej rundzie mnoży wagę błędnie sklasyfikowanej próbki przez e^(alpha), a renderowany rozmiar punktu jest bezpośrednio powiązany z tą samą wagą — więc sesja, którą zespół wciąż klasyfikuje błędnie, powiększa się rundę po rundzie, aż w końcu przyszły pieniek zostanie zmuszony do jej naprawienia.

Czy dokładność na zbiorze testowym to prawdziwa generalizacja?

Tak — wydzielony zbiór testowy jest generowany na podstawie tej samej bazowej reguły, ale nigdy nie jest używany do wyboru pieńków ani aktualizacji wag, więc jego dokładność w każdej rundzie jest prawdziwą miarą tego, jak dobrze rosnący zespół generalizuje poza sesjami treningowymi, na których został dopasowany.

⚙ Pod maską

Three.jsWebGLSIUczenie maszynowe

3D · silnik Three.js / WebGL · cel 60 FPS · działa w całości po stronie klienta, bez instalacji