🎵 Rekomendator muzyki — faktoryzacja macierzy (ALS) na żywo

Faktoryzacja macierzy przybliża dużą, w większości pustą macierz ocen słuchacz-utwór R jako iloczyn dwóch znacznie mniejszych macierzy, U (słuchacze × k czynników ukrytych) i V (utwory × k czynników ukrytych), tak że R ≈ U·Vᵀ. Każdy czynnik ukryty to nieoznaczona oś gustu — jeden może korelować z tempem, inny z produkcją akustyczną kontra elektroniczną — wyuczona automatycznie z obserwowanych odtworzeń, a nie zaprojektowana ręcznie. Gdy U i V są już wyuczone, przewidywane powinowactwo dla dowolnej pary słuchacz-utwór, nawet nigdy nieobserwowanej, to po prostu iloczyn skalarny ich dwóch wektorów ukrytych.

ALS wykorzystuje fakt, że choć wspólna optymalizacja U i V jest problemem niewypukłym, optymalizacja samego U przy ustalonym V (lub odwrotnie) to zwykła regularyzowana regresja liniowa z rozwiązaniem w postaci zamkniętej. Każdy przebieg ALS najpierw ustala V i dla każdego wiersza słuchacza rozwiązuje równania normalne k×k (Vᵀ_ᵢV_ᵢ + λ|I_u|·I)u = Vᵀ_ᵢr_ᵢ, używając tylko utworów odsłuchanych przez tego słuchacza. Następnie ustala świeżo zaktualizowane U i rozwiązuje analogiczny układ dla każdego wiersza utworu. Naprzemienne stosowanie tych dwóch dokładnych rozwiązań najmniejszych kwadratów wielokrotnie zmniejsza regularyzowany błąd rekonstrukcji monotonicznie, aż nastąpi zbieżność.

Ponieważ każdy podproblem ALS — aktualizacja jednego wiersza, podczas gdy druga macierz czynników jest zamrożona — jest małym, dobrze uwarunkowanym równaniem kwadratowym z k niewiadomymi, ma dokładne rozwiązanie poprzez równania normalne, uzyskane tutaj metodą eliminacji Gaussa z częściowym wyborem elementu podstawowego. Zbiega to w jednym kroku na wiersz zamiast wymagać dostrojonego współczynnika uczenia i wielu iteracji gradientu, sprawia, że każdy półprzebieg jest trywialnie równoległy między wierszami, i to właśnie dlatego ALS stał się domyślnym algorytmem faktoryzacji macierzy dla wielkoskalowych systemów z niejawną informacją zwrotną, takich jak wczesne rekomendatory w stylu Netflix i Spotify.

k ustala wymiarowość ukrytej przestrzeni gustu — zbyt małe niedouczaza odrębne gatunki, zbyt duże może przeuczyć się na rzadkich obserwowanych odtworzeniach i pogorszyć RMSE na zbiorze wydzielonym. Siła regularyzacji λ karze duże wartości czynników w równaniach normalnych, wymieniając dokładność treningową na uogólnienie do utworów, których słuchacz jeszcze nie odsłuchał. Liczba iteracji kontroluje, ile naprzemiennych przebiegów U/V się wykonuje; RMSE na obserwowanych wpisach treningowych szybko spada w ciągu pierwszych kilku przebiegów, a następnie się spłaszcza w miarę zbieżności faktoryzacji.

RMSE treningowe jest mierzone na dokładnie tych odtworzeniach, do których dopasowano ALS, więc przy wystarczającej liczbie czynników ukrytych i przebiegów może wciąż maleć w kierunku zera. RMSE na zbiorze wydzielonym jest mierzone na odtworzeniach celowo wyłączonych z dopasowania, więc gdy tylko czynniki zaczynają zapamiętywać osobliwości odtworzeń treningowych zamiast ogólnej struktury gustu, błąd na zbiorze wydzielonym może osiągnąć plateau albo zacząć rosnąć — klasyczny sygnał przeuczenia, i właśnie dlatego regularyzacja λ i umiarkowane k liczą się bardziej niż pogoń za najniższym możliwym błędem treningowym.