🛒 Silnik rekomendacji — filtrowanie kolaboratywne na żywo

Filtrowanie kolaboratywne przewiduje, co spodoba się użytkownikowi, na podstawie wzorców ocen całej społeczności, a nie ręcznie zakodowanych atrybutów produktu. Podstawowa idea jest taka, że użytkownicy, którzy zgadzali się w przeszłości (ocenili te same produkty podobnie), prawdopodobnie zgodzą się ponownie. Faktoryzacja macierzy to nowoczesna forma filtrowania kolaboratywnego: kompresuje rzadką macierz ocen użytkownik-przedmiot w dwie małe, gęste macierze ukrytych wektorów — jeden wiersz na użytkownika, jeden wiersz na przedmiot — których iloczyn skalarny odtwarza zaobserwowane oceny i, co kluczowe, uogólnia się na te niezaobserwowane.

Ukryty czynnik to wymiar, który model wymyśla podczas trenowania, aby wyjaśnić wzorce zgodności w danych ocen — nie jest wybierany ani etykietowany przez człowieka. W tej symulacji każdy użytkownik i produkt kończy z wektorem 2D; te dwie osie mogą luźno odpowiadać czemuś w rodzaju gustu praktyczny-kontra-zabawowy lub tani-kontra-premium, ale model nigdy nie widzi tych etykiet. Widzi tylko liczby, a spadek gradientu odkrywa dowolny układ współrzędnych, który najlepiej przewiduje zaobserwowane gwiazdki. Dlatego osie nie mają stałego znaczenia między różnymi przebiegami trenowania — znaczące są tylko względne pozycje punktów względem siebie.

Zupełnie nowy użytkownik bez żadnych ocen ma ukryty wektor będący jedynie jego losową inicjalizacją — nie niesie żadnego sygnału o jego guście, więc przewidywania dla niego nie są lepsze niż globalna średnia ocena plus szum. To problem zimnego startu: filtrowanie kolaboratywne potrzebuje pewnych zaobserwowanych interakcji, zanim będzie mogło sensownie umieścić użytkownika w ukrytej przestrzeni. W tym symulatorze możesz to zobaczyć bezpośrednio — dodaj jedną ocenę dla użytkownika, a jego punkt widocznie skacze w stronę produktów, które ocenił wysoko, a lista rekomendacji natychmiast się zmienia.

Macierz ocen jest celowo rzadka — każdy użytkownik ocenił tylko garstkę katalogu, więc zdecydowana większość wpisów jest po prostu nieznana, a nie zerowa. Trenowanie modelu, by przewidywał 0 lub wartość średnią dla każdego nieznanego wpisu, aktywnie nauczyłoby go czegoś błędnego (że nieocenione produkty się nie podobają). Zamiast tego strata błędu kwadratowego sumuje się tylko po parach (użytkownik, przedmiot), które faktycznie mają ocenę w gwiazdkach: L = Σ(zaobserwowane) (r_ui − r̂_ui)². Gradienty przepływają tylko przez komórki z rzeczywistą informacją zwrotną, a ukryte wektory dla nieocenionych par są przesuwane w sensowne pozycje wyłącznie przez dzielenie wierszy i kolumn z zaobserwowanymi komórkami.

Cel trenowania dodaje λ(‖u‖² + ‖p‖²) do straty błędu kwadratowego, karząc ukryte wektory o dużej wielkości. Bez tego użytkownik lub produkt z bardzo małą liczbą zaobserwowanych ocen może dryfować do skrajnego wektora, który niemal idealnie dopasowuje te jeden czy dwa punkty danych, ale przewiduje dziko dla wszystkiego innego — klasyczne przeuczenie na rzadkich danych. Regularyzacja kurczy wektory w stronę zera, chyba że dane dostarczają silnych, powtarzających się dowodów, by przesunąć je dalej, wymieniając odrobinę dokładności treningowej na znacznie lepszą generalizację do nieocenionych produktów, od których faktycznie zależą rekomendacje.

Gdy oceniasz produkt dla wybranego użytkownika, ta pojedyncza trójka (użytkownik, przedmiot, ocena) jest dodawana do zbioru zaobserwowanego, a optymalizator uruchamia dodatkową partię przebiegów SGD skupionych na zaktualizowanych danych. Ponieważ wektory użytkownika i produktu są współdzielonymi parametrami, garstka dodatkowych kroków gradientu wystarcza, by popchnąć ukrytą pozycję użytkownika w stronę produktów o podobnych czynnikach — możesz obserwować, jak punkt porusza się na wykresie punktowym, a lista przewidywań top-N zmienia się w ciągu sekundy, bez ponownego trenowania od zera.

Gdyby każdy wpis macierzy ocen był zaobserwowany, dekompozycja wartości osobliwych (SVD) mogłaby obliczyć optymalne czynniki niskiego rzędu bezpośrednio w formie zamkniętej. Ale prawdziwe macierze ocen są niezwykle rzadkie — użytkownik ocenił znikomy ułamek katalogu — więc klasyczne SVD jest nieokreślone dla brakujących wpisów. Stochastyczny spadek gradientu omija to elegancko: dotyka tylko zaobserwowanych komórek, skaluje się do milionów ocen, ponieważ każda aktualizacja to O(K) na ocenę, i naturalnie wspiera przyrostowe aktualizacje, gdy napływają nowe oceny, na czym dokładnie polega trenowanie na żywo w tej symulacji.

Syntetyczne oceny w tej symulacji są generowane z prawdziwych ukrytych czynników plus losowy szum, więc nawet idealny model nie może za każdym razem przewidzieć dokładnie zaszumionych gwiazdek — istnieje nieusuwalny poziom błędu wyznaczony przez wariancję szumu. Regularyzacja również celowo wymienia odrobinę dokładności na zbiorze treningowym na generalizację, dodatkowo uniemożliwiając RMSE osiągnięcie zera. W praktyce jest to zdrowe: model, który sprowadza RMSE na zaobserwowanym zbiorze do zera przy zaledwie dwóch ukrytych wymiarach i garstce ocen na użytkownika, niemal na pewno zapamiętuje szum, a nie uczy się gustu.