🎵 Musik-Empfehlungssystem — Matrixfaktorisierung (ALS) live

Matrixfaktorisierung approximiert eine große, größtenteils leere Hörer-mal-Track-Bewertungsmatrix R als Produkt zweier viel kleinerer Matrizen, U (Hörer × k latente Faktoren) und V (Tracks × k latente Faktoren), sodass R ≈ U·Vᵀ. Jeder latente Faktor ist eine unbezeichnete Geschmacksachse — eine könnte mit dem Tempo korrelieren, eine andere mit akustischer versus elektronischer Produktion — automatisch aus den beobachteten Wiedergaben gelernt statt von Hand konstruiert. Sobald U und V gelernt sind, ist die vorhergesagte Affinität für jedes Hörer-Track-Paar, selbst nie beobachtete, einfach das Skalarprodukt ihrer beiden latenten Vektoren.

ALS nutzt die Tatsache, dass die gemeinsame Optimierung von U und V ein nicht-konvexes Problem ist, während die Optimierung von U allein bei fixiertem V (oder umgekehrt) eine gewöhnliche regularisierte lineare Regression mit einer geschlossenen Lösung ist. Jeder ALS-Durchgang fixiert zunächst V und löst für jede Hörerzeile die k×k-Normalgleichungen (Vᵀ_ᵢV_ᵢ + λ|I_u|·I)u = Vᵀ_ᵢr_ᵢ unter Verwendung nur der von diesem Hörer beobachteten Tracks. Anschließend fixiert es das frisch aktualisierte U und löst ein analoges System für jede Trackzeile. Das Alternieren dieser beiden exakten Lösungen der kleinsten Quadrate verringert den regularisierten Rekonstruktionsfehler monoton, bis er konvergiert.

Da jedes ALS-Teilproblem — die Aktualisierung einer Zeile bei eingefrorener anderer Faktormatrix — eine kleine, gut konditionierte Quadratik in k Unbekannten ist, besitzt es eine exakte Lösung über die Normalgleichungen, hier mittels Gauß-Elimination mit partieller Pivotierung ermittelt. Das konvergiert in einem Schritt pro Zeile statt eine abgestimmte Lernrate und viele Gradienteniterationen zu benötigen, macht jeden Halbschritt trivial über Zeilen hinweg parallelisierbar und ist der Grund, warum ALS zum Standard-Matrixfaktorisierungsalgorithmus für groß angelegte Systeme mit impliziter Rückmeldung wurde, wie frühe Netflix- und Spotify-artige Empfehlungssysteme.

k legt die Dimensionalität des latenten Geschmacksraums fest — zu klein unterpasst unterschiedliche Genres, zu groß kann die dünn besetzten beobachteten Wiedergaben überanpassen und den Held-out-RMSE verschlechtern. Die Regularisierungsstärke λ bestraft große Faktorwerte in den Normalgleichungen und tauscht Trainingsgenauigkeit gegen Generalisierung auf Tracks, die ein Hörer noch nicht gehört hat. Die Iterationsanzahl steuert, wie viele alternierende U/V-Durchgänge laufen; der RMSE auf den beobachteten Trainingseinträgen fällt in den ersten Durchgängen schnell und flacht dann ab, sobald die Faktorisierung konvergiert.

Der Trainings-RMSE wird auf genau den Wiedergaben gemessen, an die ALS angepasst wurde, sodass er mit genug latenten Faktoren und Durchgängen weiter gegen null schrumpfen kann. Der Held-out-RMSE wird auf Wiedergaben gemessen, die bewusst von der Anpassung ausgeschlossen wurden, sodass der Held-out-Fehler, sobald die Faktoren beginnen, Eigenheiten der Trainingswiedergaben statt allgemeiner Geschmacksstruktur auswendig zu lernen, ein Plateau erreichen oder wieder ansteigen kann — die klassische Signatur von Überanpassung, und genau deshalb sind Regularisierung λ und ein moderates k wichtiger als die Jagd nach dem niedrigstmöglichen Trainingsfehler.