Rozkład wartości singularnych: obrót, rozciąganie, obrót

Każda macierz to obrót, rozciąganie, obrót

Decompozycja eigen tylko prosto zastosowana jest do kwadratowych macierzy o wystarczającej liczbie niezależnych wektorów własnych, a nawet wtedy wektory własne zwykle nie są ortogonalne. Rozkład wartości singularnych naprawia oba problemy i działa dla dowolnej macierzy, kwadratowej lub nie: każda macierz A rozkłada się jako

A = U Σ Vᵀ demo live · okrąg obracany, rozciągnięty o wartości singularne, obracany ponownie● LIVE gdzie U i V są macierzami ortogonalnymi (pura obrotów/reflekcji — zachowują one długość i kąty) a Σ jest diagonalna z nieujemnymi wykresami posortowanymi w malejącej kolejności, wartości singularne. Geometrycznie to oznacza, że każdy liniowy operator, niezależnie od skomplikowania, rozkładany jest dokładnie na trzy proste kroki: obrót (Vᵀ), rozciąganie w osiach współrzędnych o wartościach singularne (Σ), obrót ponownie (U). Zastosuj to do okręgu jednostkowego: Vᵀ obraca go miejscowo (okrąg nie zwraca się na obrot), Σ rozciąga go w elipsę osiową, której półosi są równe wartościom singularnym, a U obraca tę elipsę do jej końcowej orientacji.

A = U Σ Vᵀ

Wartości singularne w porównaniu z wartościami własnymi

Dla ogólnego macierzy singularne i wartości własne to różne liczby odpowiadające na różne pytania — wartości własne opisują skalowanie w specjalnych niezmienniczych kierunkach (które mogą nie istnieć jako liczby rzeczywiste, lub mogą nie być ortogonalne), podczas gdy wartości singularne opisują rzeczywisty maksymalny i minimalny czynnik rozciągania mapy, zawsze rzeczywiste, zawsze nieujemne, zawsze istniejące dla dowolnej macierzy. Połączenie: wartości singularne macierzy A są pierwiastkami kwadratowymi wartości własnych macierzy AᵀA (która jest zawsze kwadratowa, symetryczna i pozytywnie poludno-definiowana, więc jej wartości własne są gwarantowane by były rzeczywiste i nieujemne). Dla macierzy simetrycznej dodatnio określonej w szczególności singularne i wartości własne zbiegają dokładnie i U = V, co jest powodem dla którego rozkład SVD i rozkład na wartości własne tylko wyglądają inaczej dla ogólnych macierzy, a nie dla tego szczególnego przypadku.

Czytanie największej wartości singularnej

Największa wartość singularna σ1 to norma operatora macierzy: maksymalny czynnik, o jaki może rozciągnąć dowolny wektor jednostkowy, osiągnięty dokładnie w kierunku pierwszego prawego wektora singularnego (stałej V) i przesunięty w kierunku pierwszego lewego wektora singularnego (stałej U). Najmniejsza wartość singularna informuje o tym, jak blisko macierz jest do bycia osobliwą (nieodwracalną) — bardzo mała wartość najmniejsza w stosunku do największej oznacza, że macierz jest prawie rank-deficient, numerycznie niewytrzymała do odwrotnej i stosunek σmax/σmin dokładnie jest liczbą warunkową macierzy, standardowym miernikiem tego, ile małe błędy wejściowe są zwiększane podczas rozwiązywania układu liniowego za pomocą tej macierzy.

for A = [[a,b],[c,d]]:
  compute AᵀA (symmetric 2×2)
  eigenvalues of AᵀA = σ1², σ2²
  σ1 ≥ σ2 ≥ 0 are the singular values
  V = eigenvectors of AᵀA,  U = A·V / σ  (normalised)

Dlaczego rozkład wartości singularnych jest koniunkcją zaangażowania w przybliżenia o niskim stopniu

Z powodu tego, że wartości singularne Σ są uporządkowane, skrócenie dekompozycji — zachowanie tylko top k największych wartości singularnych i ich odpowiednich wierszy/kolumn U i V, zerowanie reszty — daje najlepsze możliwe przybliżenie stopnia-k macierzy A w precyzyjny, dowodzalny sensie (twierdzenie Eckart-Young: żadna inna macierz o stopniu k nie jest bliższa A w standardowej normie macierzy). Ta jedna fakt sformułuje podstawę kompresji obrazów (zachowanie największych wartości singularnych obrazu traktowanego jako macierz, zaniedbywanie reszty, a większość informacji widocznej przetrwa), systemów poleceń (aproxymacja wielkiej rzadkiej macierzy użytkownik-item za pomocą dekompozycji singularnej o niskim stopniu do wywnioskowania brakujących preferencji), redukcji szumów (małe wartości singularne często odpowiadają za szum, a nie sygnał) oraz jądro numeryczne PCA (głównymi komponentami zbioru danych są dokładnie prawie-perpetywne wektory singularne macierzy danych przeskalowanych do średnich).

Dlaczego rzeczywiste oprogramowanie numeryczne preferuje SVD nad rozkładem eigenwartości

SVD jest bardziej stabilny numerycznie do obliczenia niż rozkład eigenwartości dla ogólnych macierzy, zawsze istnieje (zakładając, że even dla niefull-rankowych lub niekwadratowych macierzy, dla których rozkład eigenwartości może nawet nie być zdefiniowany), a bezpośrednio pokazuje rangę, przestrzeń nullową i warunkowość — dlatego rutiny biblioteczne do rozwiązywania problemów najmniejszych kwadratów, obliczania rangi macierzy lub odwracania niewarunkowanych systemów zawsze korzystają z SVD jako domyślnej metody, nawet gdy macierz okazuje się być kwadratowa.

Często zadawane pytania

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz SVD Visualizer i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.