Оцінка та валідація моделей

🎓 Метрики класифікації

Accuracy, Precision, Recall

Accuracy: Частка правильних прогнозів. Добре для збалансованих даних.

Precision: Серед правильних позитивних прогнозів, скільки дійсно позитивні. TP/(TP+FP).

Recall: Серед дійсно позитивних, скільки виявлено. TP/(TP+FN).

F1-score: Гармонійне середнє precision та recall. 2×(precision×recall)/(precision+recall).

ROC-AUC

ROC Curve: Графік True Positive Rate vs False Positive Rate для різних порогів.

AUC: Площа під ROC кривою. Від 0 до 1. Вище = краще. Показує здатність розрізняти класи.

Переваги: Не залежить від порогу, добре для незбалансованих даних.

Confusion Matrix

Структура: Матриця TP, FP, TN, FN. Показує типи помилок.

Використання: Візуалізація помилок, обчислення метрик, аналіз класів.

🔧 Cross-Validation

K-Fold Cross-Validation

Концепція: Розділяє дані на K частин. Навчає на K-1, тестує на 1. Повторює K разів.

Переваги: Зменшує variance оцінки, використовує всі дані для навчання та тестування.

K: Зазвичай 5 або 10. Більше K = менше bias, більше variance.

Stratified K-Fold

Концепція: Зберігає пропорції класів у кожному fold. Важливо для незбалансованих даних.

Переваги: Репрезентативніша оцінка для незбалансованих даних.

📚 Практичні приклади

Приклад 1: Cross-Validation для оцінки

Підготовка: Підготувати дані, вибрати модель.

CV: Використати 5-fold cross-validation. Обчислити середні метрики.

Оцінка: Перевірити середні та стандартні відхилення метрик.

Аналіз: Проаналізувати variance метрик. Висока variance = нестабільність.

Приклад 2: Оцінка для незбалансованих даних

Метрики: Використати F1-score, ROC-AUC замість accuracy.

CV: Stratified K-fold для збереження пропорцій.

Візуалізація: Confusion matrix, ROC curve для аналізу.

Налаштування: Оптимізувати поріг для балансу precision/recall.

© 2025 Науковий Симулятор. Всі права захищені.

Оцінка моделей: надійність та якість

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.