Що таке PCA?
Principal Component Analysis (PCA) - це техніка зменшення розмірності, яка знаходить головні напрямки варіації в даних та проектує їх на ці напрямки.
Кроки PCA:
- 1. Центрування даних (віднімання середнього)
- 2. Обчислення коваріаційної матриці
- 3. Знаходження власних значень та векторів
- 4. Сортування за власними значеннями
- 5. Проекція на головні компоненти
Застосування:
- • Візуалізація високовимірних даних
- • Зменшення шуму в даних
- • Прискорення алгоритмів ML
- • Стиснення зображень
100
0.70
2
50
Оригінальні дані
Після PCA
Власні значення
Пояснена варіація
Метрики
Загальна варіація:
0.00
Збережена варіація:
0.00
Втрачена варіація:
0.00
Кореляція PC1-PC2:
0.00
Часті запитання
За правилом 80-20: достатньо компонентів для пояснення 80% варіації, або метод ліктя на графіку власних значень.
Так, але втрачається найменш важлива інформація (шум). PCA зберігає максимальну варіацію в даних.
Так, через ваги оригінальних змінних. Але інтерпретація може бути складною для високовимірних даних.
Коли важлива інтерпретація змінних, при нелінійних залежностях, або коли потрібно зберегти всі змінні.
SVD більш загальний метод розкладу матриць. PCA можна реалізувати через SVD, але не навпаки.