Статистичне навчання

🔬 Ключові концепції

Bias-Variance Trade-off

Компроміс між bias (помилка наближення) та variance (чутливість до даних). Прості моделі: високий bias, низький variance. Складні: навпаки. Оптимальний баланс.

Overfitting

Модель навчилася тільки на тренувальних даних, не узагальнює. Високий variance. Рішення: regularization, більше даних, спрощення моделі. Ключова проблема ML.

Regularization

Додавання штрафів для спрощення моделей. Ridge (L2), Lasso (L1) для лінійної регресії. Зменшує overfitting, покращує узагальнення.

Cross-Validation

Оцінка узагальнення через k-fold розділення. Надійніша за train/test. Використовується для вибору гіперпараметрів, порівняння моделей.

🎯 Методи

Linear Regression

Мінімізація MSE для лінійної залежності. MLE, OLS оцінки. Інтерпретована, статистичні тести. Основа для багатьох методів.

Logistic Regression

Для класифікації через логістичну функцію. MLE для оцінки параметрів. Інтерпретована через odds ratios. Популярний baseline метод.

LDA (Linear Discriminant Analysis)

Лінійна класифікація через Баєсівські правила. Припущення про нормальний розподіл. Ефективний для малих даних. Статистичний підхід.

Ridge & Lasso Regression

Regularized лінійна регресія. Ridge: L2 penalty, зменшує коефіцієнти. Lasso: L1, відбирає ознаки. Баланс між fit та простотою.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Hash Function Avalanche Visualizer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.