Кероване навчання: Основи машинного навчання

Вступ до керованого навчання

Кероване навчання - це тип машинного навчання, де модель навчається на помічених даних, тобто даних з відомими відповідями (labels). Це один з найпоширеніших та найефективніших підходів до машинного навчання, що використовується для класифікації та регресії.

Модель навчається на парах "вхід-вихід", де алгоритм намагається знайти закономірності, що зв'язують входи з виходами. Після навчання модель може передбачати виходи для нових, небачених вхідних даних.

Історичний розвиток

Концепція керованого навчання виникла у 1950-х роках з розробкою перших алгоритмів розпізнавання образів. У 1980-х роках почали розроблятися складніші алгоритми (дерева рішень, SVM). У 2000-х роках поява великих наборів даних та обчислювальних потужностей призвела до розквіту глибокого навчання.

Сьогодні кероване навчання є основою багатьох комерційних застосувань AI та використовується у різних галузях від медицини до фінансів.

Типи керованого навчання

Класифікація

Передбачення дискретних категорій:

Binary classification: Бінарна класифікація (2 класи)

Multi-class classification: Багатокласова класифікація (>2 класи)

Examples: Розпізнавання об'єктів, діагностика, спам-фільтри

Регресія

Передбачення неперервних значень:

Linear regression: Лінійна регресія

Non-linear regression: Нелінійна регресія

Examples: Прогнозування цін, прогнозування погоди, оцінка якості

Приклад: Класифікація vs Регресія

Класифікація: "Ця клітина ракова чи здорова?" (дискретна відповідь). Регресія: "Яка температура буде завтра?" (неперервне значення).

Алгоритми класифікації

Логістична регресія

Probability output: Виводить ймовірності

Sigmoid function: Сигмоїдна функція

Interpretability: Висока інтерпретабельність

Linear decision boundary: Лінійна межа рішення

Support Vector Machines (SVM)

Maximum margin: Максимальний відступ

Kernel trick: Трюк з ядрами

Non-linear boundaries: Нелінійні межі

Robust: Стійкість до викидів

Дерева рішень

Interpretability: Дуже зрозумілі

Feature selection: Вибір ознак

Non-linear: Нелінійні відносини

Overfitting risk: Ризик переобучення

Випадковий ліс

Ensemble method: Ансамблевий метод

Many trees: Багато дерев

Robust: Стійкий

Feature importance: Важливість ознак

Наївний баєсів класифікатор

Probabilistic: Імовірнісний

Fast: Швидкий

Independence assumption: Припущення незалежності

Text classification: Класифікація тексту

K-найближчих сусідів (KNN)

Instance-based: На основі екземплярів

Lazy learning: Ліниве навчання

Simple: Простий

Computational cost: Обчислювальні витрати

Нейронні мережі

Deep learning: Глибоке навчання

Complex patterns: Складні патерни

Large data: Великі дані

Black box: "Чорний ящик"

Алгоритми регресії

Лінійна регресія

Simple: Проста

Interpretable: Зрозуміла

Linear relationships: Лінійні відносини

OLS: Метод найменших квадратів

Поліноміальна регресія

Non-linear: Нелінійні відносини

Polynomial features: Поліноміальні ознаки

Overfitting risk: Ризик переобучення

Ridge регресія

L2 regularization: L2 регуляризація

Multicollinearity: Мультиколінеарність

Shrinks coefficients: Зменшує коефіцієнти

Lasso регресія

L1 regularization: L1 регуляризація

Feature selection: Вибір ознак

Sparse models: Розріджені моделі

Elastic Net

Combination: Комбінація Ridge та Lasso

Best of both: Найкраще з обох

Дерева регресії

Decision trees: Дерева рішень

Random Forest: Випадковий ліс

Gradient Boosting: Градієнтний бустинг

y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + ε

Метрики оцінки

Для класифікації

Accuracy: Точність

Precision: Точність

Recall: Відгук

F1-score: F1-оцінка

ROC-AUC: Площа під кривою

Confusion matrix: Матриця плутанини

Для регресії

MAE: Середня абсолютна помилка

MSE: Середня квадратична помилка

RMSE: Середня квадратична помилка (корінь)

R²: Коефіцієнт детермінації

MAPE: Середня абсолютна процентна помилка

жива демонстрація · пов'язана симуляція● LIVE

Валідація та тестування

Розподіл даних

Train set: Навчальний набір (60-80%)

Validation set: Валідаційний набір (10-20%)

Test set: Тестовий набір (10-20%)

Cross-validation

K-fold: K-складова перехресна валідація

Stratified: Стратифікована

Leave-one-out: Залишити один

Time series: Для часових рядів

Overfitting та Underfitting

Overfitting: Переобучення (висока точність на тренуванні, низька на тесті)

Underfitting: Недобучення (низька точність на обох)

Bias-variance tradeoff: Компроміс між зміщенням та дисперсією

Регуляризація

L1 Regularization (Lasso)

Sparsity: Розрідженість

Feature selection: Вибір ознак

L1 penalty: L1 штраф

L2 Regularization (Ridge)

Smoothness: Гладкість

Small weights: Маленькі ваги

L2 penalty: L2 штраф

Elastic Net

Combination: Комбінація L1 та L2

Flexibility: Гнучкість

Dropout (для нейронних мереж)

Random deactivation: Випадкове вимикання

Prevents co-adaptation: Запобігає коадаптації

Feature Engineering

Feature Selection

Relevance: Релевантність

Redundancy: Надлишковість

Methods: Методи вибору

Feature Transformation

Scaling: Масштабування

Normalization: Нормалізація

Encoding: Кодування категорій

Polynomial features: Поліноміальні ознаки

Feature Extraction

PCA: Аналіз головних компонент

Autoencoders: Автоенкодери

Feature learning: Навчання ознак

Застосування

Медицина

Diagnosis: Діагностика

Drug discovery: Відкриття ліків

Prognosis: Прогнозування

Фінанси

Credit scoring: Кредитний скоринг

Fraud detection: Виявлення шахрайства

Stock prediction: Прогноз акцій

Рекомендаційні системи

Product recommendations: Рекомендації товарів

Content recommendations: Рекомендації контенту

Комп'ютерний зір

Object recognition: Розпізнавання об'єктів

Face recognition: Розпізнавання облич

Виклики та обмеження

Якість даних

Labeling cost: Вартість маркування

Data quality: Якість даних

Balanced datasets: Збалансовані набори

Overfitting

Complex models: Складні моделі

Small datasets: Малі набори даних

Regularization: Потреба в регуляризації

Bias та Fairness

Data bias: Смередження даних

Algorithmic bias: Алгоритмічне смередження

Fairness: Справедливість

Майбутні перспективи

Automated ML

AutoML: Автоматизоване ML

Hyperparameter tuning: Налаштування гіперпараметрів

Feature engineering: Автоматична робота з ознаками

Explainable AI

Interpretability: Інтерпретабельність

Transparency: Прозорість

Trust: Довіра

Few-shot Learning

Learning from few examples: Навчання з малих даних

Transfer learning: Переносне навчання

Кероване навчання - основа машинного навчання

Воно дозволяє моделям передбачати та класифікувати на основі навчальних даних

Часті запитання

1. Що таке кероване навчання?

Кероване навчання - це тип машинного навчання, де модель навчається на помічених даних (з відомими відповідями). Модель намагається знайти закономірності між входами та виходами, щоб передбачати виходи для нових даних. Основні типи: класифікація (дискретні категорії) та регресія (неперервні значення).

2. У чому різниця між класифікацією та регресією?

Класифікація передбачає дискретні категорії (наприклад, "спам" чи "не спам", "рак" чи "здорова клітина"). Регресія передбачає неперервні числові значення (наприклад, ціна будинку, температура, продажі). Використовуються різні алгоритми та метрики для кожного типу.

3. Які основні алгоритми класифікації?

Основні алгоритми: логістична регресія (проста, інтерпретабельна), SVM (максимальний відступ, ядра для нелінійності), дерева рішень (зрозумілі, ризик переобучення), випадковий ліс (ансамбль дерев, стійкий), наївний баєсів (швидкий, для тексту), KNN (на основі екземплярів), та нейронні мережі (складні патерни, великі дані).

4. Що таке overfitting та як його запобігти?

Overfitting - це коли модель дуже добре навчається на навчальних даних, але погано узагальнює на нових даних. Запобігання: регуляризація (L1/L2), dropout, збільшення навчальних даних, спрощення моделі, early stopping, та cross-validation для моніторингу.

5. Які метрики використовуються для оцінки моделей?

Для класифікації: accuracy, precision, recall, F1-score, ROC-AUC, confusion matrix. Для регресії: MAE, MSE, RMSE, R², MAPE. Вибір метрики залежить від задачі: для незбалансованих класів важливіші precision/recall, для регресії часто використовується RMSE або R².

6. Що таке cross-validation?

Cross-validation - це метод оцінки моделі, де дані розбиваються на k частин (folds), модель навчається на k-1 частинах та тестується на 1 частині, процес повторюється k разів. Це дає більш надійну оцінку продуктивності, ніж одне розділення train/test, та використовує дані ефективніше.

7. У чому різниця між L1 та L2 регуляризацією?

L1 регуляризація (Lasso) додає штраф за суму абсолютних значень коефіцієнтів, що призводить до розріджених моделей (деякі коефіцієнти стають нульовими) та автоматичного вибору ознак. L2 регуляризація (Ridge) додає штраф за суму квадратів коефіцієнтів, що зменшує значення коефіцієнтів, але не обнуляє їх.

8. Як вибрати правильний алгоритм для задачі?

Вибір залежить від багатьох факторів: тип задачі (класифікація/регресія), розмір даних, кількість ознак, потребу в інтерпретабельності, нелінійність даних, наявність викидів. Починати з простих моделей (логістична регресія, лінійна регресія), потім спробувати складніші. Cross-validation допомагає порівняти алгоритми.

9. Що таке bias-variance tradeoff?

Bias-variance tradeoff - це компроміс між зміщенням (bias) та дисперсією моделі. Високий bias (underfitting) - модель занадто проста, не навчається даних. Висока дисперсія (overfitting) - модель занадто складна, запам'ятовує навчальні дані. Баланс досягається через регуляризацію, складність моделі та обсяг даних.

10. Які перспективи майбутнього керованого навчання?

Майбутнє включає автоматизоване ML (AutoML) для спрощення процесу, explainable AI для інтерпретабельності, few-shot learning для навчання з малих даних, покращення справедливості та неупередженості моделей, інтеграцію з великими мовними моделями, та розробку більш ефективних алгоритмів для спеціалізованих задач.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Hash Function Avalanche Visualizer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.

▶ Відкрити симуляцію Hash Function Avalanche Visualizer