Оцінка моделей

🎯 Метрики класифікації

Confusion Matrix (Матриця помилок)

Основна таблиця для розуміння результатів класифікації:

TP: Правильно визначені позитивні випадки

TN: Правильно визначені негативні випадки

FP: Негативні випадки, помилково визначені як позитивні (Type I error)

FN: Позитивні випадки, помилково визначені як негативні (Type II error)

Accuracy (Точність)

Формула: Accuracy = (TP + TN) / (TP + TN + FP + FN)

Інтерпретація: Частка правильно класифікованих випадків

Обмеження: Може бути обманливою при незбалансованих класах

Приклад: Якщо 95% даних одного класу, модель може досягти 95% accuracy, просто передбачаючи завжди більшість клас

Precision (Прецизійність)

Формула: Precision = TP / (TP + FP)

Інтерпретація: Серед позитивних прогнозів, скільки дійсно позитивні

Застосування: Важливо, коли вартість False Positive висока (наприклад, спам-фільтр)

Приклад: Precision = 0.9 означає, що з 10 позитивних прогнозів, 9 правильні

Recall (Повнота, Sensitivity)

Формула: Recall = TP / (TP + FN)

Інтерпретація: З усіх реальних позитивних випадків, скільки ми знайшли

Застосування: Важливо, коли вартість False Negative висока (медична діагностика)

Приклад: Recall = 0.8 означає, що знайдено 80% всіх позитивних випадків

F1-Score

Формула: F1 = 2 × (Precision × Recall) / (Precision + Recall)

Інтерпретація: Гармонійне середнє між Precision та Recall

Переваги: Баланс між двома метриками, добре для незбалансованих даних

Fβ-score: Узагальнення, де β контролює вагу Recall

ROC Curve та AUC

ROC (Receiver Operating Characteristic): Графік True Positive Rate (TPR) vs False Positive Rate (FPR) при різних порогах класифікації

AUC (Area Under Curve): Площа під ROC кривою, від 0 до 1

Інтерпретація AUC: 0.5 — випадковий класифікатор, 1.0 — ідеальний, >0.8 — добре

Переваги: Не залежить від порогу, добре для незбалансованих класів

📈 Метрики регресії

MSE (Mean Squared Error)

Формула: MSE = (1/n) × Σ(yi - ŷi)²

Характеристики: Пеналізує великі помилки сильніше через квадрат

Одиниці: Квадрат одиниць цільової змінної

Недоліки: Чутливий до викидів

RMSE (Root Mean Squared Error)

Формула: RMSE = √MSE

Переваги: В тих самих одиницях, що й цільова змінна, легше інтерпретувати

Застосування: Найпоширеніша метрика для регресії

MAE (Mean Absolute Error)

Формула: MAE = (1/n) × Σ|yi - ŷi|

Переваги: Менш чутливий до викидів, легше інтерпретувати

Недоліки: Не диференційований в нулі (для gradient-based оптимізації)

R² (Коефіцієнт детермінації)

Формула: R² = 1 - (SS_res / SS_tot)

Інтерпретація: Частка варіації, пояснена моделлю (0 до 1, може бути негативним)

Значення: 1.0 — ідеальне пояснення, 0 — не краще за середнє

Обмеження: Може зростати з додаванням ознак (навіть нерелевантних)

MAPE (Mean Absolute Percentage Error)

Формула: MAPE = (1/n) × Σ|(yi - ŷi) / yi| × 100%

Переваги: Відсоткова метрика, легко інтерпретувати

Недоліки: Проблеми з нульовими або близькими до нуля значеннями

🔄 Cross-Validation

K-Fold Cross-Validation

Процес: Дані діляться на k частин, модель навчається k разів, кожен раз використовуючи k-1 частин для тренування та 1 для тестування

Переваги: Використовує всі дані для тренування та тестування, надійніша оцінка

Типове k: 5 або 10

Stratified K-Fold

Особливість: Зберігає розподіл класів у кожному фолді

Застосування: Для незбалансованих даних класифікації

Time Series Split

Особливість: Поважає часовий порядок даних

Застосування: Для часових рядів, де важлива послідовність

📚 Гайд з прикладів

Приклад 1: Розрахунок метрик з Confusion Matrix

Матриця: TP=80, FP=10, FN=20, TN=90

Accuracy = (80+90) / (80+10+20+90) = 170/200 = 0.85 (85%)

Precision = 80 / (80+10) = 0.889

Recall = 80 / (80+20) = 0.80

F1 = 2 × (0.889 × 0.80) / (0.889 + 0.80) = 0.842

Приклад 2: Порівняння моделей регресії

Модель A: RMSE = 50, MAE = 40, R² = 0.85

Модель B: RMSE = 45, MAE = 38, R² = 0.88

Модель B краща за всіма метриками — менша помилка та краще пояснення варіації.

Приклад 3: 5-Fold Cross-Validation

Дані розбиваються на 5 частин. Модель навчається 5 разів:

Fold 1: Тренування на частинах 2-5, тест на частині 1

Fold 2: Тренування на частинах 1,3-5, тест на частині 2

... і так далі

Фінальна оцінка = середнє з 5 метрик

© 2025 Science Simulator. Всі права захищені.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.