🎵 Raccomandatore Musicale — Fattorizzazione a Matrice (ALS) dal Vivo

La fattorizzazione a matrice approssima una grande matrice di valutazioni ascoltatore-per-brano R, per lo più vuota, come prodotto di due matrici molto più piccole, U (ascoltatori × k fattori latenti) e V (brani × k fattori latenti), in modo che R ≈ U·Vᵀ. Ogni fattore latente è un asse di gusto non etichettato — uno potrebbe correlare con il tempo, un altro con la produzione acustica rispetto a quella elettronica — appreso automaticamente dagli ascolti osservati anziché progettato a mano. Una volta appresi U e V, l'affinità prevista per qualsiasi coppia ascoltatore-brano, anche mai osservata, è semplicemente il prodotto scalare dei loro due vettori latenti.

ALS sfrutta il fatto che, mentre ottimizzare congiuntamente U e V è un problema non convesso, ottimizzare U da solo con V tenuto fisso (o viceversa) è un'ordinaria regressione lineare regolarizzata con soluzione in forma chiusa. Ogni passata ALS prima fissa V e, per ogni riga ascoltatore, risolve le equazioni normali k×k (Vᵀ_ᵢV_ᵢ + λ|I_u|·I)u = Vᵀ_ᵢr_ᵢ usando solo i brani osservati di quell'ascoltatore. Poi fissa la U appena aggiornata e risolve un sistema analogo per ogni riga brano. Alternare queste due soluzioni esatte ai minimi quadrati diminuisce ripetutamente e monotonamente l'errore di ricostruzione regolarizzato fino a convergere.

Poiché ogni sotto-problema ALS — aggiornare una riga mentre l'altra matrice di fattori è congelata — è una quadratica piccola e ben condizionata in k incognite, ha una soluzione esatta tramite le equazioni normali, ottenuta qui con l'eliminazione gaussiana e il pivoting parziale. Questo converge in un solo passo per riga invece di richiedere un tasso di apprendimento calibrato e molte iterazioni di gradiente, rende ogni mezza passata banalmente parallela tra le righe, ed è il motivo per cui ALS è diventato l'algoritmo di fattorizzazione a matrice predefinito per i sistemi di feedback implicito su larga scala, come i primi raccomandatori in stile Netflix e Spotify.

k imposta la dimensionalità dello spazio latente del gusto — troppo piccolo sottoadatta generi distinti, troppo grande può sovradattarsi agli ascolti osservati sparsi e peggiorare l'RMSE held-out. La forza di regolarizzazione λ penalizza i valori dei fattori elevati nelle equazioni normali, scambiando accuratezza di addestramento con generalizzazione verso brani che un ascoltatore non ha ancora ascoltato. Il numero di iterazioni controlla quante passate alternate U/V vengono eseguite; l'RMSE sugli ingressi di addestramento osservati scende rapidamente nelle prime passate e poi si appiattisce man mano che la fattorizzazione converge.

L'RMSE di addestramento è misurato sugli ascolti esatti a cui ALS è stato adattato, quindi con abbastanza fattori latenti e passate può continuare a restringersi verso zero. L'RMSE held-out è misurato su ascolti deliberatamente esclusi dall'adattamento, quindi una volta che i fattori iniziano a memorizzare le peculiarità degli ascolti di addestramento anziché la struttura generale del gusto, l'errore held-out può stabilizzarsi o risalire lentamente — la classica firma dell'overfitting, ed esattamente il motivo per cui la regolarizzazione λ e un k moderato contano più dell'inseguire il minor errore di addestramento possibile.