Навчання #31 – Лінійна алгебра для науковців: матриці, власні вектори, перетворення та МГК

Більшість науковців стикаються з лінійною алгеброю як з обов'язковим курсом задовго до того, як вона їм по-справжньому знадобиться. У результаті багато хто засвоює механіку (зведення рядків, множення матриць), не отримавши геометрії. Цей допис намагається зробити навпаки: почати з геометричного змісту й вивести алгебру як природну мову для його опису.

1. Матриці як лінійні відображення

Матриця A розміром m×n визначає лінійну функцію f: ℝⁿ → ℝ^m через f(x) = Ax. Лінійність означає, що виконуються дві властивості:

• f(x + y) = f(x) + f(y)
• f(αx) = α f(x)

Геометрично лінійне відображення переводить прямі лінії в прямі лінії (або стискає їх у точку, якщо det A = 0), а початок координат переходить сам у себе. Стовпці A точно показують, куди переходять базисні вектори: стовпець j матриці A — це f(e_j).

Композиція:   (A ∘ B) x = A(Bx)   →   добуток матриць AB

Зміна базису з B на C:
  [v]_C = M_{C←B} [v]_B   де M_{C←B} = C⁻¹ B

Перетворення подібності: A у базисі C   →   A' = P⁻¹ A P
(P = матриця переходу, стовпці = нові базисні вектори у старих координатах)

Для ортонормованих базисів: P⁻¹ = Pᵀ  (матриці обертання/відбиття)

Саме тому вибір системи координат так важливий у фізиці: записування тензора у його головних осях (базисі власних векторів) робить його дію діагональною і легко інтерпретованою. Тензор інерції твердого тіла зводиться до I₁, I₂, I₃ уздовж головних осей; тензор напружень у точці зводиться до трьох головних напружень без зсуву.

2. Визначники як зважене масштабування об'єму

Визначник квадратної матриці A дорівнює зваженому (знакованому) об'єму паралелепіпеда, натягнутого на її стовпці-вектори. Для матриць 2×2:

2×2:  det(A) = ad − bc
       (зважена площа паралелограма, натягнутого на стовпці)

3×3:  det(A) = a(ei−fh) − b(di−fg) + c(dh−eg)
       (правило Сарруса / розклад за кофакторами першого рядка)

Властивості:
  det(AB) = det(A) det(B)
  det(Aᵀ) = det(A)         (транспонування зберігає об'єм)
  det(A⁻¹) = 1/det(A)
  det(αA) = α∧n det(A)  (масштабування кожного рядка на α масштабує det на α)
  det(A) = 0  ⇔  A вироджена  ⇔  стовпці лінійно залежні

В інтерактивному візуалізаторі матричних перетворень визначник показує, як змінюється площа фігури під дією перетворення: одиничний квадрат перетворюється на паралелограм площею |det A|. Від'ємний визначник вказує на відбиття (зміну орієнтації). Коли det = 0, уся площина стискається в лінію або точку.

3. Власні вектори та власні значення

Власний вектор матриці A — це ненульовий вектор v, що задовольняє Av = λv: перетворення лише масштабує вектор, не обертаючи його. Скаляр λ — відповідне власне значення.

Рівняння на власні значення:   Av = λv   ⇔   (A − λI)v = 0
Характеристичний многочлен:    det(A − λI) = 0

Для 2×2: λ² − tr(A)λ + det(A) = 0
  λ₁₂ = [tr(A) ± √(tr(A)² − 4 det(A))] / 2

Діагоналізація (якщо A має n незалежних власних векторів):
  A = P D P⁻¹
  D = diag(λ₁, …, λₙ),   P = [v₁ | v₂ | … | vₙ]

Степені:  Aᵁ= = P Dᵁ= P⁻¹   (дешево: досить піднести кожне λ𝑖 до степеня k)
Експонента: eᴬᵀ = P eᴬ P⁻¹  (корисно для лінійних систем ЗДР)

Власні значення визначають довгострокову поведінку лінійних динамічних систем x_n+1 = Ax_n: система зростає, якщо будь-яке |λ| > 1, і стягується до нуля, якщо всі |λ| < 1. Для неперервних систем dx/dt = Ax стійкість вимагає, щоб усі власні значення мали від'ємну дійсну частину.

4. Спектральна теорема та її застосування

Спектральна теорема — центральний результат лінійної алгебри для фізики:

Нехай A = Aᵀ (дійсна симетрична, n×n).
Тоді:
  1. Усі власні значення A дійсні.
  2. Власні вектори для різних власних значень ортогональні.
  3. A ортогонально діагоналізується:   A = Q Λ Qᵀ
     Q ортогональна (QᵀQ = I),  Λ = diag(λ₁, …, λₙ)

Для ермітових матриць (A = A†, комплексних):
  Ті самі висновки справедливі над ℂ.
  Дійсні власні значення  ⇔  квантові спостережувані дають дійсні результати вимірювання.

Спектральна теорема має пряме, фундаментальне тлумачення в кількох галузях:

• Квантова механіка: кожна спостережувана величина (енергія, імпульс, положення) є ермітовим оператором. Її власні значення — можливі результати вимірювання; її власні вектори — квантові стани з визначеними значеннями спостережуваної (наприклад, власні стани енергії для гамільтоніана).
• Нормальні моди: зважена на масу матриця жорсткості K_~ = M^−½KM^−½ симетрична. Її власні вектори — форми нормальних мод; її власні значення дають ω_i². Діагоналізація розв'язує N зв'язаних ЗДР як N незалежних гармонічних осциляторів.
• Метод скінченних елементів: глобальна матриця жорсткості K симетрична й додатно визначена. Її власні значення пов'язані з власними частотами; розв'язання Ku = f коректно поставлене, коли K не має нульових власних значень (конструкція повністю закріплена).

5. Сингулярний розклад (SVD)

Розклад на власні значення вимагає квадратної матриці. SVD узагальнює його на будь-яку матрицю m×n і чисельно більш стійкий:

A = U Σ Vᵀ    (будь-яка дійсна матриця m×n)

U  ортогональна m×m  (ліві сингулярні вектори = стовпці)
Σ  діагональна m×n   (сингулярні значення σ₁ ≥ σ₂ ≥ … ≥ 0)
V  ортогональна n×n  (праві сингулярні вектори = стовпці)

Зв'язок із власними значеннями:
  AᵀA = V ΣᵀΣ Vᵀ,  сингулярні значення σ𝑖 = √(власні значення AᵀA)

Усічений SVD (наближення рангу k):
  A ≈ Uᵁ Σᵁ Vᵁᵀ   (найкраще наближення рангу k, теорема Екарта-Янга)

Псевдообернена матриця Мура-Пенроуза:
  A⁺ = V Σ⁺ Uᵀ   де Σ⁺ = diag(1/σ₁, …, 1/σ𝑟, 0, …)
Розв'язок методом найменших квадратів: x∗ = A⁺ b  (мінімізує ‖Ax−b‖²)

SVD — робочий кінь чисельної лінійної алгебри: він розв'язує задачі найменших квадратів (підгонка даних, томографічна реконструкція), обчислює наближення низького рангу (стиснення зображень, латентно-семантичний аналіз) і дає число обумовленості κ(A) = σ_max/σ_min, яке кількісно визначає чутливість Ax = b до збурень.

6. Метод головних компонент (МГК)

МГК знаходить напрями максимальної дисперсії в наборі даних. Маючи n точок даних у ℜ^d (рядки матриці X, центровані за середнім), МГК діагоналізує вибіркову коваріаційну матрицю:

Вибіркова коваріація:   C = (1/(n−1)) Xᵀ X    (d×d, симетрична, невід'ємно визначена)
Розклад на власні значення:  C = Q Λ Qᵀ
  λ₁ ≥ λ₂ ≥ … ≥ λ𝑑 ≥ 0   (головні дисперсії)
  q₁, q₂, …, q𝑑             (головні компоненти)

Проєкція на перші k головних компонент:
  X𝔌 = X Qᵁ   (n×k, представлення зниженої розмірності)

Дисперсія, що зберігається k компонентами:
  R_k = (λ₁ + … + λᵁ) / (λ₁ + … + λ𝑑)

Зв'язок із SVD:
  Якщо X = U Σ Vᵀ, то власні вектори C = V,  λ𝑖 = σ𝑖²/(n−1)

МГК зустрічається по всій науці: його використовують для виявлення домінантних мод кліматичної мінливості (аналіз ЕОФ), для стиснення профілів експресії генів (біоінформатика), для розділення джерел сигналу в ЕЕГ/МЕГ (у поєднанні з аналізом незалежних компонент) та для ініціалізації навчання нейронних мереж шляхом вибілювання простору вхідних ознак.

Інтерактивні візуалізації

Симуляція матричних перетворень дозволяє побудувати геометричну інтуїцію для всіх понять вище. Використовуйте повзунки матриці 2×2, щоб побудувати обертання (det = 1), відбиття (det = −1), зсуви (det = 1, одне власне значення = 1), масштабування та проєкції (det = 0). Накладення власних векторів показує нерухомі напрями, коли вони існують; накладення одиничного кола показує, куди переходять кола під дією перетворення (півосі результату — це сингулярні значення).

Для подальшого читання

Наступні теми природно розвиваються з цього допису:

• Метод найменших квадратів і регресія: нормальні рівняння A^TAx = A^Tb та їхній зв'язок із SVD; гребенева регресія як регуляризація Тихонова.
• Ітеративні методи пошуку власних значень: степеневий метод, QR-алгоритм, метод Ланцоша для великих розріджених матриць (скінченні елементи, лапласіан графа).
• Тензорна алгебра: узагальнення матриць на масиви вищого порядку; згортка, слід, підсумовування Ейнштейна; тензори напружень і деформацій у механіці суцільних середовищ.
• Випадкові матриці: закон півкола Вігнера, розподіл Марченка–Пастура для вибіркових коваріаційних матриць випадкових даних.