Багатовимірна статистика

📊 Що таке багатовимірна статистика?

Багатовимірна статистика — це розділ статистики, який займається аналізом даних, що містять кілька змінних одночасно. Вона відрізняється від одновимірної статистики тим, що розглядає залежності та взаємодії між змінними, а не аналізує кожну змінну окремо. Багатовимірна статистика надає потужні інструменти для розуміння складних взаємозв'язків у даних та має широке застосування в соціальних науках, біології, економіці, маркетингу та інших областях.

🎯 Основні розділи багатовимірної статистики:

Багатовимірний нормальний розподіл - основа аналізу

Кореляційний аналіз - залежності між змінними

Регресійний аналіз - прогнозування

Факторний аналіз - виявлення прихованих факторів

Кластерний аналіз - групування об'єктів

📊 Багатовимірний нормальний розподіл

1. Визначення та властивості

Фундаментальний розподіл багатовимірної статистики:

📊 Багатовимірний нормальний розподіл

Щільність:

Параметри:

📊 Параметри розподілу

Вектор середніх: • μ = E[X] = (μ₁, μ₂, ..., μ_k)' • μ_i = E[X_i] • Центр розподілу • Властивості

Коваріаційна матриця: • Σ = Cov[X] = E[(X-μ)(X-μ)'] • Σ_{ij} = Cov[X_i, X_j] • Форма розподілу • Властивості

📊 Властивості розподілу

Маргінальні розподіли: • X_i ~ N(μ_i, σ_i²) • Нормальні розподіли • Окремі змінні • Властивості

Умовні розподіли: • X₁|X₂ ~ N(μ₁|₂, Σ₁₁|₂) • Нормальні розподіли • Умовні на інші змінні • Властивості

📊 Лінійні перетворення

Теорема: • Y = AX + b • Y ~ N(Aμ + b, AΣA') • A - матриця перетворення • Властивості

Властивості: • Зберігання нормальності • Зміна параметрів • Лінійність • Приклади

2. Оцінювання параметрів

Методи оцінювання параметрів багатовимірного нормального розподілу:

📊 Вибіркове середнє

Оцінка: • x̄ = (1/n)Σ_{i=1}^n x_i • x_i - спостереження • n - розмір вибірки • Властивості

Властивості: • Несмещена оцінка • Ефективна оцінка • Асимптотична нормальність • Приклади

📊 Вибраркова коваріаційна матриця

Оцінка: • S = (1/(n-1))Σ_{i=1}^n (x_i - x̄)(x_i - x̄)' • x_i - спостереження • x̄ - вибіркове середнє • Властивості

Властивості: • Несмещена оцінка • Додатно визначена • Симетрична • Приклади

📊 Максимальна правдоподібність

Оцінки: • μ̂ = x̄ • Σ̂ = (1/n)Σ_{i=1}^n (x_i - x̄)(x_i - x̄)' • Максимізація L(μ, Σ) • Властивості

Властивості: • Ефективність • Асимптотична нормальність • Зміщеність Σ̂ • Приклади

f(x) = (1/√((2π)^k|Σ|)) exp(-(1/2)(x-μ)'Σ^{-1}(x-μ))

📊 Кореляційний аналіз

1. Кореляційні коефіцієнти

Міри залежності між змінними:

📊 Кореляційні коефіцієнти

Кореляція Пірсона:

Кореляція Спірмена:

📊 Кореляція Пірсона

Визначення: • r = Cov(X,Y)/(σ_X σ_Y) • Лінійна залежність • -1 ≤ r ≤ 1 • Властивості

Властивості: • r = 1: повна позитивна кореляція • r = -1: повна негативна кореляція • r = 0: відсутність кореляції • Приклади

📊 Кореляція Спірмена

Визначення: • ρ = 1 - (6Σd²)/(n(n²-1)) • Монотонна залежність • -1 ≤ ρ ≤ 1 • Властивості

Властивості: • ρ = 1: повна монотонна зростання • ρ = -1: повна монотонна спадання • ρ = 0: відсутність монотонної залежності • Приклади

📊 Часткова кореляція

Визначення: • r_{12|3} = (r_{12} - r_{13}r_{23})/√[(1-r_{13}²)(1-r_{23}²)] • Кореляція при контролі третьої змінної • Усунення впливу • Властивості

Властивості: • Усунення впливу • Чиста залежність • Інтерпретація • Приклади

2. Кореляційна матриця

Матричне представлення кореляцій:

📊 Кореляційна матриця

Визначення: • R = (r_{ij}) • r_{ii} = 1 • r_{ij} = r_{ji} • Властивості

Властивості: • Симетрична • Додатно визначена • Діагональні елементи = 1 • Приклади

📊 Тести значущості

Тест H₀: r = 0: • t = r√(n-2)/√(1-r²) • t-розподіл з n-2 ступенями • Рівень значущості • Властивості

Властивості: • Перевірка значущості • Рівень значущості • Інтерпретація • Приклади

📊 Довірчі інтервали

Перетворення Фішера: • z = (1/2)ln((1+r)/(1-r)) • Нормальний розподіл • Довірчі інтервали • Властивості

Властивості: • Нормальність • Довірчі інтервали • Інтерпретація • Приклади

r = Σ(x_i - x̄)(y_i - ȳ) / √[Σ(x_i - x̄)²Σ(y_i - ȳ)²]

📊 Регресійний аналіз

1. Множинна лінійна регресія

Прогнозування залежної змінної:

📊 Множинна регресія

Модель:

Компоненти:

📊 Оцінка коефіцієнтів

МНК оцінка: • β̂ = (X'X)^{-1}X'Y • Мінімізація суми квадратів • Ефективна оцінка • Властивості

Властивості: • Несмещена оцінка • Ефективна оцінка • Асимптотична нормальність • Приклади

📊 Коефіцієнт детермінації

R²: • R² = 1 - SS_res/SS_tot • SS_res = Σ(y_i - ŷ_i)² • SS_tot = Σ(y_i - ȳ)² • Властивості

Властивості: • 0 ≤ R² ≤ 1 • R² = 1: ідеальне прогнозування • R² = 0: відсутність прогнозування • Приклади

📊 Скоригований R²

R²_adj: • R²_adj = 1 - (1-R²)(n-1)/(n-p-1) • n - розмір вибірки • p - кількість предикторів • Властивості

Властивості: • Урахування кількості предикторів • Порівняння моделей • Пеналізація за складність • Приклади

2. Діагностика моделі

Перевірка припущень регресійної моделі:

📊 Залишки

Визначення: • e_i = y_i - ŷ_i • y_i - спостереження • ŷ_i - прогноз • Властивості

Властивості: • E[e_i] = 0 • Var[e_i] = σ²(1-h_{ii}) • h_{ii} - діагональний елемент H • Приклади

📊 Стандартизовані залишки

Визначення: • r_i = e_i/(s√(1-h_{ii})) • s - стандартна помилка • h_{ii} - діагональний елемент H • Властивості

Властивості: • Стандартизація • Порівняння • Виявлення викидів • Приклади

📊 Тест Дарбіна-Ватсона

Статистика: • DW = Σ(e_i - e_{i-1})²/Σe_i² • e_i - залишки • Перевірка автокореляції • Властивості

Властивості: • 0 ≤ DW ≤ 4 • DW ≈ 2: відсутність автокореляції • DW < 2: позитивна автокореляція • Приклади

Y = Xβ + ε

📊 Факторний аналіз

1. Основна модель факторного аналізу

Виявлення прихованих факторів:

📊 Факторна модель

Модель:

Компоненти:

📊 Приховані фактори

Визначення: • F = (F₁, F₂, ..., F_m)' • m < p (кількість змінних) • Приховані змінні • Властивості

Властивості: • E[F] = 0 • Cov[F] = I • Некорельовані • Приклади

📊 Матриця навантажень

Визначення: • Λ = (λ_{ij}) • λ_{ij} - навантаження i-ї змінної на j-й фактор • Кореляція з факторами • Властивості

Властивості: • Кореляція з факторами • Інтерпретація • Ротація • Приклади

📊 Комунальності

Визначення: • h_i² = Σ_{j=1}^m λ_{ij}² • Доля дисперсії змінної • Пояснена факторами • Властивості

Властивості: • 0 ≤ h_i² ≤ 1 • h_i² = 1: повне пояснення • h_i² = 0: відсутність пояснення • Приклади

2. Методи оцінювання

Різні методи оцінювання факторної моделі:

📊 Метод головних компонент

Метод: • Розкладання коваріаційної матриці • S = PΛP' • P - матриця власних векторів • Властивості

Властивості: • Простота • Ефективність • Обмеження • Приклади

📊 Метод максимальної правдоподібності

Метод: • Максимізація функції правдоподібності • L(Λ, Ψ) • Λ - матриця навантажень • Властивості

Властивості: • Ефективність • Складність • Обмеження • Приклади

📊 Ротація факторів

Методи: • Varimax • Promax • Oblimin • Властивості

Властивості: • Покращення інтерпретації • Збереження комунальностей • Простота • Приклади

X = ΛF + ε

📊 Кластерний аналіз

1. Методи кластеризації

Групування об'єктів за схожістю:

📊 Кластерний аналіз

Задача:

Критерій:

📊 K-means

Алгоритм: • 1. Вибрати k центрів • 2. Призначити об'єкти до найближчих центрів • 3. Оновити центри • 4. Повторити до збіжності

Властивості: • Простота • Швидкість • Обмеження • Приклади

📊 Ієрархічна кластеризація

Методи: • Агломеративний • Дівізійний • Дендрограма • Властивості

Властивості: • Ієрархія • Візуалізація • Складність • Приклади

📊 DBSCAN

Алгоритм: • 1. Визначити ε-сусідство • 2. Знайти ядрові точки • 3. Розширити кластери • 4. Позначити шум

Властивості: • Виявлення шуму • Произвольні форми • Складність • Приклади

2. Міри схожості

Різні міри схожості для кластеризації:

📊 Евклідова відстань

Визначення: • d(x,y) = √[Σ_{i=1}^p (x_i - y_i)²] • x, y - вектори • p - розмірність • Властивості

Властивості: • d(x,y) ≥ 0 • d(x,y) = 0 ⟺ x = y • d(x,y) = d(y,x) • Приклади

📊 Манхеттенська відстань

Визначення: • d(x,y) = Σ_{i=1}^p |x_i - y_i| • x, y - вектори • p - розмірність • Властивості

Властивості: • d(x,y) ≥ 0 • d(x,y) = 0 ⟺ x = y • d(x,y) = d(y,x) • Приклади

📊 Косинусна схожість

Визначення: • cos(θ) = (x·y)/(||x|| ||y||) • x, y - вектори • θ - кут між векторами • Властивості

Властивості: • -1 ≤ cos(θ) ≤ 1 • cos(θ) = 1: однаковий напрямок • cos(θ) = -1: протилежний напрямок • Приклади

C = {C₁, C₂, ..., C_k}

📊 Дискримінантний аналіз

1. Лінійний дискримінантний аналіз

Класифікація об'єктів за групами:

📊 Лінійний дискримінант

Функція:

Правило класифікації:

📊 Баєсівський підхід

Правило: • P(C_i|x) = f(x|C_i)π_i / f(x) • f(x|C_i) - щільність • π_i - априорна ймовірність • Властивості

Властивості: • Оптимальність • Баєсівський підхід • Априорні ймовірності • Приклади

📊 Квадратичний дискримінант

Функція: • D_i(x) = -(1/2)(x-μ_i)'Σ_i^{-1}(x-μ_i) - (1/2)ln|Σ_i| + ln(π_i) • μ_i - середнє групи i • Σ_i - коваріаційна матриця групи i • Властивості

Властивості: • Різні коваріаційні матриці • Гнучкість • Складність • Приклади

📊 Оцінювання точності

Метрики: • Точність: (TP+TN)/(TP+TN+FP+FN) • Чутливість: TP/(TP+FN) • Специфічність: TN/(TN+FP) • Властивості

Властивості: • Оцінювання якості • Порівняння методів • Валідація • Приклади

2. Канонічний дискримінантний аналіз

Максимізація розділення між групами:

📊 Канонічні змінні

Визначення: • Y = Xa • a - вектор коефіцієнтів • X - матриця спостережень • Властивості

Властивості: • Максимізація розділення • Мінімізація перекриття • Інтерпретація • Приклади

📊 Власні значення

Задача: • (B - λW)a = 0 • B - матриця між групами • W - матриця в межах груп • Властивості

Властивості: • λ_i - власні значення • a_i - власні вектори • Розділення груп • Приклади

📊 Канонічні кореляції

Визначення: • ρ_i = √(λ_i/(1+λ_i)) • λ_i - власні значення • Кореляція з групами • Властивості

Властивості: • 0 ≤ ρ_i ≤ 1 • ρ_i = 1: повне розділення • ρ_i = 0: відсутність розділення • Приклади

D_i(x) = x'Σ^{-1}μ_i - (1/2)μ_i'Σ^{-1}μ_i + ln(π_i)

📊 Застосування

1. Соціальні науки

Застосування в соціальних дослідженнях:

📊 Психологія

Застосування: • Тестування особистості • Факторний аналіз • Кластерний аналіз • Властивості

Методи: • Факторний аналіз • Кластерний аналіз • Дискримінантний аналіз • Приклади

📊 Соціологія

Застосування: • Соціальні дослідження • Кореляційний аналіз • Регресійний аналіз • Властивості

Методи: • Кореляційний аналіз • Регресійний аналіз • Факторний аналіз • Приклади

📊 Економіка

Застосування: • Економічні моделі • Регресійний аналіз • Факторний аналіз • Властивості

Методи: • Регресійний аналіз • Факторний аналіз • Кластерний аналіз • Приклади

2. Природничі науки

Застосування в природничих науках:

📊 Біологія

Застосування: • Таксономія • Кластерний аналіз • Дискримінантний аналіз • Властивості

Методи: • Кластерний аналіз • Дискримінантний аналіз • Факторний аналіз • Приклади

📊 Хімія

Застосування: • Хемометрика • Факторний аналіз • Кластерний аналіз • Властивості

Методи: • Факторний аналіз • Кластерний аналіз • Регресійний аналіз • Приклади

📊 Геологія

Застосування: • Геостатистика • Кластерний аналіз • Факторний аналіз • Властивості

Методи: • Кластерний аналіз • Факторний аналіз • Кореляційний аналіз • Приклади

🎯 Висновки

Багатовимірна статистика є важливим розділом статистики, який займається аналізом даних, що містять кілька змінних одночасно. Вона надає потужні інструменти для розуміння складних взаємозв'язків у даних та має широке застосування в різних областях. Багатовимірна статистика включає багатовимірний нормальний розподіл як основу аналізу, кореляційний аналіз для залежностей між змінними, регресійний аналіз для прогнозування, факторний аналіз для виявлення прихованих факторів, та кластерний аналіз для групування об'єктів. Багатовимірна статистика має широке застосування в соціальних науках, включаючи психологію, соціологію та економіку, а також в природничих науках, включаючи біологію, хімію та геологію.

📚 Пов'язані теми

Математика

Статистика

Теорія ймовірності

Наука про дані

Машинне навчання

📊 Розділи багатовимірної статистики

Багатовимірний нормальний розподіл

Кореляційний аналіз

Регресійний аналіз

Факторний аналіз

Кластерний аналіз

🔬 Основні поняття

Коваріаційна матриця

Кореляційна матриця

Регресійний аналіз

Факторний аналіз

Кластерний аналіз

📊 Застосування

Соціальні науки

Природничі науки

Медицина

Маркетинг

Фінанси

📖 Рекомендована література

"Multivariate Statistical Methods" - Morrison

"Applied Multivariate Analysis" - Johnson

"Multivariate Analysis" - Mardia

"Factor Analysis" - Harman

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spirograph і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.