Налаштування гіперпараметрів

🔬 Фундаментальні концепції

Що таке гіперпараметри та чим вони відрізняються від параметрів?

Гіперпараметри — це параметри, що встановлюються до навчання моделі та контролюють процес навчання, на відміну від параметрів моделі (ваги, bias), які вивчаються під час навчання. Приклади: learning rate, кількість дерев, глибина дерев, regularization strength, кількість нейронів.

Відмінність: параметри моделі (weights, biases) вивчаються автоматично з даних під час навчання, тоді як гіперпараметри встановлюються вручну або через автоматичну оптимізацію перед навчанням. Гіперпараметри впливають на те, як модель навчається, а параметри — це те, що модель вивчає.

Важливість: правильний вибір гіперпараметрів може значно покращити продуктивність моделі. Наприклад, learning rate в Neural Networks може зробити різницю між збіжністю та дивергенцією, або між швидким та повільним навчанням.

Типи гіперпараметрів

Алгоритмічні: контролюють сам алгоритм навчання — learning rate, batch size, optimizer type, activation functions.

Архітектурні: визначають структуру моделі — кількість шарів, нейронів, дерев, max depth.

Регуляризаційні: контролюють складність моделі — dropout rate, L1/L2 regularization, early stopping patience.

Обробки даних: впливають на підготовку даних — feature selection, data augmentation parameters.

🎯 Методи налаштування

1. Grid Search

Grid Search — систематичний пошук по всіх комбінаціях значень з заданої сітки. Випробовує кожну комбінацію гіперпараметрів зі списку, навчає модель для кожної, оцінює продуктивність, вибирає найкращу.

Алгоритм: 1) Визначається сітка значень для кожного гіперпараметра, 2) Створюються всі можливі комбінації, 3) Для кожної комбінації навчається модель з cross-validation, 4) Вибирається комбінація з найкращою метрикою.

Переваги: повний пошук (не пропускає комбінації), гарантує знаходження найкращої з заданої сітки, простота реалізації та розуміння.

Недоліки: експоненційна складність (кількість комбінацій = добуток розмірів сіток), дуже повільний для багатьох гіперпараметрів, може не знайти оптимальні значення поза сіткою.

Коли використовувати: мало гіперпараметрів (< 3-4), невеликі сітки, потрібна повність пошуку, достатньо обчислювальних ресурсів.

2. Random Search

Random Search випадково вибирає комбінації гіперпараметрів з заданих розподілів (uniform, log-uniform тощо). Дослідження показують, що Random Search часто знаходить кращі значення швидше за Grid Search, особливо коли лише частина гіперпараметрів критична.

Алгоритм: 1) Визначаються розподіли для кожного гіперпараметра, 2) Випадково вибирається n комбінацій, 3) Для кожної навчається модель, 4) Вибирається найкраща.

Переваги: швидший за Grid Search (не перевіряє всі комбінації), може знайти кращі значення за Grid Search, ефективніший для багатьох гіперпараметрів, може використовувати continuous розподіли.

Недоліки: не гарантує повний пошук, може пропустити оптимальні значення, потребує більше ітерацій для стабільності.

Коли використовувати: багато гіперпараметрів, обмежені обчислювальні ресурси, потрібен баланс між швидкістю та якістю.

3. Bayesian Optimization

Bayesian Optimization — інтелектуальний метод, що використовує попередні результати для вибору наступних точок для випробування. Використовує Gaussian Process або Tree-structured Parzen Estimator для моделювання функції метрики від гіперпараметрів.

Алгоритм: 1) Початкові випадкові випробування, 2) Побудова surrogate model (Gaussian Process) функції метрики, 3) Вибір наступної точки через acquisition function (вибір балансу exploration vs exploitation), 4) Оцінка цієї точки, оновлення моделі, повторення.

Acquisition functions: Expected Improvement (EI) — найпоширеніша, Upper Confidence Bound (UCB), Probability of Improvement (PI).

Переваги: найефективніший метод (менше оцінок для знаходження оптимуму), використовує інформацію з попередніх спроб, добре працює з дорогими функціями (навчання моделей).

Недоліки: складніший за Grid/Random Search, потребує налаштування acquisition function, може бути повільний для дуже великої кількості гіперпараметрів (> 20).

Інструменти: Optuna (найпопулярніший), Hyperopt, Scikit-Optimize, GPyOpt.

4. Automated Machine Learning (AutoML)

AutoML платформи автоматизують весь ML pipeline, включаючи налаштування гіперпараметрів. Використовують різні стратегії: Bayesian optimization, evolutionary algorithms, reinforcement learning.

Платформи: AutoGluon, H2O AutoML, Auto-sklearn, TPOT (genetic programming), Google AutoML, Azure AutoML.

Переваги: повна автоматизація, можуть знаходити складні комбінації, економія часу, добре для baseline моделей.

Недоліки: менша контроль, "чорна скринька", може бути повільним, менша гнучкість.

💡 Стратегії налаштування

Поетапне налаштування

Замість одночасної оптимізації всіх гіперпараметрів, налаштовуйте їх поетапно: спочатку найважливіші (learning rate, n_estimators), потім інші. Це зменшує простір пошуку та прискорює процес.

Coarsening to Fine-tuning

Почніть з широкого діапазону значень на великій сітці (coarse search), знайдіть приблизний оптимум, потім зробіть fine-tuning навколо цього регіону з меншою сіткою.

Early Stopping

Використовуйте early stopping під час навчання для прискорення процесу tuning. Моделі, що погано навчаються, зупиняються раніше, економлячи час.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Hash Function Avalanche Visualizer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.