Nauka #31 – Algebra liniowa dla naukowców: macierze, wektory własne, przekształcenia i PCA

Większość naukowców styka się z algebrą liniową jako z obowiązkowym kursem, zanim jeszcze będzie im ona potrzebna. W efekcie wiele osób poznaje mechanikę (redukcję wierszową, mnożenie macierzy) bez geometrii. Ten wpis próbuje zrobić odwrotnie: zacząć od znaczenia geometrycznego i wyprowadzić z niego algebrę jako naturalny język do jego opisu.

1. Macierze jako odwzorowania liniowe

Macierz A o rozmiarze m×n definiuje funkcję liniową f: ℝⁿ → ℝ^m przez f(x) = Ax. Liniowość oznacza spełnienie dwóch własności:

• f(x + y) = f(x) + f(y)
• f(αx) = α f(x)

Geometrycznie odwzorowanie liniowe przekształca linie proste w linie proste (lub zapada je do punktu, jeśli det A = 0) i przekształca początek układu współrzędnych w siebie samego. Kolumny macierzy A mówią dokładnie, dokąd trafiają wektory bazy standardowej: kolumna j macierzy A to f(e_j).

Składanie:   (A ∘ B) x = A(Bx)   →   iloczyn macierzy AB

Zmiana bazy z B na C:
  [v]_C = M_{C←B} [v]_B   gdzie M_{C←B} = C⁻¹ B

Przekształcenie podobieństwa: A w bazie C   →   A' = P⁻¹ A P
(P = macierz zmiany bazy, kolumny = nowe wektory bazowe we współrzędnych starych)

Dla baz ortonormalnych: P⁻¹ = Pᵀ  (macierze obrotu/odbicia)

Właśnie dlatego wybór układu współrzędnych ma tak duże znaczenie w fizyce: wyrażenie tensora w jego osiach głównych (bazie wektorów własnych) sprawia, że jego działanie staje się diagonalne i łatwe do interpretacji. Tensor bezwładności bryły sztywnej staje się I₁, I₂, I₃ wzdłuż osi głównych; tensor naprężeń w punkcie staje się trzema naprężeniami głównymi bez ścinania.

2. Wyznaczniki jako skalowanie objętości ze znakiem

Wyznacznik macierzy kwadratowej A jest równy zorientowanej objętości równoległościanu rozpiętego przez jej wektory kolumnowe. Dla macierzy 2×2:

2×2:  det(A) = ad − bc
       (pole ze znakiem równoległoboku rozpiętego przez kolumny)

3×3:  det(A) = a(ei−fh) − b(di−fg) + c(dh−eg)
       (reguła Sarrusa / rozwinięcie Laplace'a wzdłuż pierwszego wiersza)

Własności:
  det(AB) = det(A) det(B)
  det(Aᵀ) = det(A)         (transpozycja zachowuje objętość)
  det(A⁻¹) = 1/det(A)
  det(αA) = α∧n det(A)  (skalowanie każdego wiersza przez α skaluje det przez α)
  det(A) = 0  ⇔  A jest osobliwa  ⇔  kolumny są liniowo zależne

W interaktywnej wizualizacji przekształceń macierzowych wyznacznik decyduje o tym, jak zmienia się pole figury pod wpływem przekształcenia: kwadrat jednostkowy staje się równoległobokiem o polu |det A|. Ujemny wyznacznik wskazuje na odbicie (odwrócenie orientacji). Gdy det = 0, cała płaszczyzna zapada się do linii lub punktu.

3. Wektory i wartości własne

Wektor własny macierzy A to niezerowy wektor v spełniający Av = λv: przekształcenie jedynie skaluje wektor, nie obraca go. Skalar λ to odpowiadająca mu wartość własna.

Równanie własne:   Av = λv   ⇔   (A − λI)v = 0
Wielomian charakterystyczny:   det(A − λI) = 0

Dla 2×2: λ² − tr(A)λ + det(A) = 0
  λ₁₂ = [tr(A) ± √(tr(A)² − 4 det(A))] / 2

Diagonalizacja (jeśli A ma n niezależnych wektorów własnych):
  A = P D P⁻¹
  D = diag(λ₁, …, λₙ),   P = [v₁ | v₂ | … | vₙ]

Potęgi:  Aᵁ= = P Dᵁ= P⁻¹   (tanio: wystarczy podnieść każde λ𝑖 do potęgi k)
Eksponenta: eᴬᵀ = P eᴬ P⁻¹  (przydatne dla liniowych układów ODE)

Wartości własne determinują długoterminowe zachowanie liniowych układów dynamicznych x_n+1 = Ax_n: układ rośnie, jeśli jakiekolwiek |λ| > 1, i zanika do zera, jeśli wszystkie |λ| < 1. Dla układów ciągłych dx/dt = Ax, stabilność wymaga, by wszystkie wartości własne miały ujemną część rzeczywistą.

4. Twierdzenie spektralne i jego zastosowania

Twierdzenie spektralne jest centralnym wynikiem algebry liniowej dla fizyki:

Niech A = Aᵀ (rzeczywista symetryczna, n×n).
Wówczas:
  1. Wszystkie wartości własne A są rzeczywiste.
  2. Wektory własne odpowiadające różnym wartościom własnym są ortogonalne.
  3. A jest diagonalizowalna ortogonalnie:   A = Q Λ Qᵀ
     Q ortogonalna (QᵀQ = I),  Λ = diag(λ₁, …, λₙ)

Dla macierzy hermitowskich (A = A†, zespolonych):
  Te same wnioski zachodzą nad ℂ.
  Wartości własne rzeczywiste  ⇔  obserwable kwantowe dają rzeczywiste wyniki pomiaru.

Twierdzenie spektralne ma bezpośrednie, fundamentalne interpretacje w wielu dziedzinach:

• Mechanika kwantowa: każda obserwabla (energia, pęd, położenie) jest operatorem hermitowskim. Jej wartości własne to możliwe wyniki pomiaru; jej wektory własne to stany kwantowe o określonych wartościach obserwabli (np. stany własne energii dla hamiltonianu).
• Mody normalne: macierz sztywności ważona masą K_~ = M^−½KM^−½ jest symetryczna. Jej wektory własne to kształty modów normalnych; jej wartości własne dają ω_i². Diagonalizacja rozprzęga N sprzężonych ODE na N niezależnych oscylatorów harmonicznych.
• Analiza elementów skończonych: globalna macierz sztywności K jest symetryczna i dodatnio określona. Jej wartości własne są powiązane z częstościami własnymi; rozwiązywanie Ku = f jest poprawnie postawione, gdy K nie ma zerowych wartości własnych (struktura w pełni utwierdzona).

5. Rozkład według wartości osobliwych (SVD)

Rozkład na wartości własne wymaga macierzy kwadratowej. SVD uogólnia go na dowolną macierz m×n i jest liczbowo bardziej stabilny:

A = U Σ Vᵀ    (dowolna rzeczywista macierz m×n)

U  m×m ortogonalna  (lewe wektory osobliwe = kolumny)
Σ  m×n diagonalna   (wartości osobliwe σ₁ ≥ σ₂ ≥ … ≥ 0)
V  n×n ortogonalna  (prawe wektory osobliwe = kolumny)

Związek z wartościami własnymi:
  AᵀA = V ΣᵀΣ Vᵀ,  wartości osobliwe σ𝑖 = √(wartości własne AᵀA)

Obcięte SVD (aproksymacja rzędu k):
  A ≈ Uᵁ Σᵁ Vᵁᵀ   (najlepsza aproksymacja rzędu k, twierdzenie Eckarta-Younga)

Pseudoodwrotność Moore'a-Penrose'a:
  A⁺ = V Σ⁺ Uᵀ   gdzie Σ⁺ = diag(1/σ₁, …, 1/σ𝑟, 0, …)
Rozwiązanie najmniejszych kwadratów: x∗ = A⁺ b  (minimalizuje ‖Ax−b‖²)

SVD to koń roboczy numerycznej algebry liniowej: rozwiązuje zagadnienia najmniejszych kwadratów (dopasowanie danych, rekonstrukcja tomograficzna), oblicza aproksymacje niskiego rzędu (kompresja obrazów, ukryta analiza semantyczna) i dostarcza wskaźnik uwarunkowania κ(A) = σ_max/σ_min, który określa, jak wrażliwe jest Ax = b na zaburzenia.

6. Analiza głównych składowych (PCA)

PCA znajduje kierunki maksymalnej wariancji w zbiorze danych. Mając n punktów danych w ℜ^d (wiersze macierzy X, scentrowane względem średniej), PCA diagonalizuje próbkową macierz kowariancji:

Kowariancja próbkowa:   C = (1/(n−1)) Xᵀ X    (d×d, symetryczna PSD)
Rozkład na wartości własne:  C = Q Λ Qᵀ
  λ₁ ≥ λ₂ ≥ … ≥ λ𝑑 ≥ 0   (wariancje główne)
  q₁, q₂, …, q𝑑             (główne składowe)

Rzutowanie na pierwsze k głównych składowych:
  X𝔌 = X Qᵁ   (n×k, reprezentacja niskowymiarowa)

Wariancja zachowana przez k składowych:
  R_k = (λ₁ + … + λᵁ) / (λ₁ + … + λ𝑑)

Związek z SVD:
  Jeśli X = U Σ Vᵀ to wektory własne C = V,  λ𝑖 = σ𝑖²/(n−1)

PCA pojawia się w wielu dziedzinach nauki: służy do identyfikacji dominujących modów zmienności klimatu (analiza EOF), do kompresji profili ekspresji genów (bioinformatyka), do rozdzielania źródeł sygnału w EEG/MEG (w połączeniu z analizą składowych niezależnych) oraz do inicjalizacji trenowania sieci neuronowych poprzez wybielanie przestrzeni cech wejściowych.

Wizualizacje interaktywne

Symulacja przekształceń macierzowych pozwala zbudować intuicję geometryczną dla wszystkich powyższych pojęć. Użyj suwaków macierzy 2×2, aby skonstruować obroty (det = 1), odbicia (det = −1), ścinania (det = 1, jedna wartość własna = 1), skalowania i rzutowania (det = 0). Nakładka wektorów własnych pokazuje kierunki stałe, gdy istnieją; nakładka okręgu jednostkowego pokazuje, dokąd trafiają okręgi pod wpływem przekształcenia (półosie wyniku to wartości osobliwe).

Dalsza lektura

Poniższe tematy w naturalny sposób rozwijają ten wpis:

• Najmniejsze kwadraty i regresja: równania normalne A^TAx = A^Tb i ich związek z SVD; regresja grzbietowa jako regularyzacja Tichonowa.
• Iteracyjne solvery wartości własnych: metoda potęgowa, algorytm QR, metoda Lanczosa dla dużych macierzy rzadkich (elementy skończone, laplasjan grafu).
• Algebra tensorowa: uogólnienie macierzy na tablice wyższego rzędu; kontrakcja, ślad, konwencja sumacyjna Einsteina; tensory naprężenia i odkształcenia w mechanice ośrodków ciągłych.
• Macierze losowe: prawo półkola Wignera, rozkład Marczenki-Pastura dla próbkowych macierzy kowariancji danych losowych.