Класифікація та розпізнавання образів

🎓 Алгоритми класифікації

Логістична регресія

Призначення: Бінарна та мультикласова класифікація. Передбачає ймовірності належності до класів.

Переваги: Інтерпретативність, швидкість, не потребує багато даних, дає ймовірності.

Недоліки: Припускає лінійність, не працює для складних нелінійних патернів.

Застосування: Медична діагностика, фінанси, маркетинг, коли потрібна інтерпретативність.

Дерева рішень

Призначення: Класифікація через послідовність правил "якщо-то". Інтуїтивні, легко інтерпретуються.

Переваги: Інтуїтивність, працює з категоріальними та числовими даними, не потребує нормалізації, виявляє важливі ознаки.

Недоліки: Схильні до переобучення, нестабільні (малі зміни даних можуть змінити дерево), не дуже точні.

Застосування: Коли потрібна інтерпретативність, правила для бізнесу, feature selection.

Random Forest

Призначення: Ансамбль дерев рішень. Комбінує прогнози багатьох дерев для покращення точності.

Переваги: Вища точність за дерева, менше переобучення, може визначати важливість ознак, робастний до викидів.

Недоліки: Менш інтерпретований за дерева, потребує більше обчислень.

Застосування: Широко використовується в індустрії для класифікації та регресії.

SVM (Support Vector Machines)

Призначення: Знаходить оптимальну межу між класами. Використовує kernel trick для нелінійних патернів.

Переваги: Потужний для складних патернів, ефективний для малих-середніх датасетів, робастний до викидів.

Недоліки: Не масштабується для великих датасетів, важко інтерпретувати, потребує налаштування параметрів.

Нейронні мережі

Призначення: Потужні моделі для складних нелінійних патернів. Глибокі мережі для дуже складних задач.

Переваги: Можуть навчатися складних патернів, висока точність, автоматично знаходять ознаки (deep learning).

Недоліки: Чорний ящик, потребує багато даних, складніше налаштувати, довше навчання.

📊 Метрики оцінки

Confusion Matrix

TP (True Positive): Правильно передбачені позитивні.

TN (True Negative): Правильно передбачені негативні.

FP (False Positive): Неправильно передбачені позитивні (помилка типу I).

FN (False Negative): Неправильно передбачені негативні (помилка типу II).

Використання: З confusion matrix можна розрахувати всі метрики.

Основні метрики

Accuracy: (TP + TN) / (TP + TN + FP + FN). Загальна точність. Може бути оманливою для незбалансованих даних.

Precision: TP / (TP + FP). Правильність позитивних передбачень. Важливо, коли false positive дорогі.

Recall (Sensitivity): TP / (TP + FN). Покриття позитивних. Важливо, коли потрібно знайти всі позитивні.

F1-score: 2 × (Precision × Recall) / (Precision + Recall). Гармонійне середнє. Балансує precision та recall.

Specificity: TN / (TN + FP). Правильність негативних передбачень.

ROC-AUC

ROC curve: Графік True Positive Rate (Recall) vs False Positive Rate. Показує компроміс між recall та specificity.

AUC: Площа під ROC curve. 0-1, вище = краще. Показує здатність моделі розрізняти класи.

Інтерпретація: AUC = 0.5 (випадкове), 0.7-0.8 (прийнятне), 0.8-0.9 (добре), > 0.9 (відмінно).

Переваги: Не залежить від порогу класифікації, показує загальну якість моделі.

⚠️ Обробка незбалансованих даних

Проблема

Визначення: Коли один клас значно переважає (наприклад, 99% нормальних, 1% аномалій).

Проблема: Модель може досягти високої accuracy, завжди передбачаючи більшість клас. Не навчається розпізнавати меншину.

Метрики: Не використовувати accuracy. Краще precision, recall, F1-score, ROC-AUC, які враховують обидва класи.

Рішення

SMOTE: Синтетичне генерування прикладів меншини. Краще за просте oversampling.

Undersampling: Зменшення кількості більшості. Може втратити важливі дані.

Oversampling: Збільшення кількості меншини. Може призвести до переобучення.

Класові ваги: Більший штраф за помилку на меншині. Вбудовано в багато алгоритмів.

Зміна порогу: Змінити поріг класифікації для балансування precision/recall.

📚 Практичні приклади

Приклад 1: Класифікація з Confusion Matrix

Підготовка: Підготувати дані, розділити на train/test.

Навчання: Навчити модель (наприклад, Random Forest).

Прогнози: Зробити прогнози на test set.

Confusion Matrix: Побудувати confusion matrix. Аналізувати TP, TN, FP, FN.

Метрики: Розрахувати precision, recall, F1-score, accuracy з confusion matrix.

Приклад 2: Обробка незбалансованих даних

Виявлення: Перевірити розподіл класів. Якщо незбалансований (наприклад, 90%/10%), обробити.

Метрики: Використати precision, recall, F1-score замість accuracy.

SMOTE: Застосувати SMOTE для генерування синтетичних прикладів меншини.

Класові ваги: Використати class_weight='balanced' в алгоритмі.

Порівняння: Порівняти метрики до та після обробки. Вибрати найкращий підхід.

© 2025 Науковий Симулятор. Всі права захищені.

Класифікація: передбачення категорій

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.