Байєсівський оптимізація для налаштування гіперпараметрів

Основи

Використовуйте q-EI або «фантазування» для пакетного відбору; надавайте перевагу асинхронним планувальникам, щоб уникнути відстаючих процесів.

Почніть з випадкових/Sobol семплів, використовуйте логарифмічні шкали для швидкостей і явно кодуйте умови.

Як працює алгоритм

Використовуйте q-EI або уяви – асинхронний оптимізаційний процес байєсівського типу уникає бездіяльності робітників, пропонуючи рішення без очікування завершення всіх оцінок.

Практичне застосування

Затримка, обмеження пам'яті та справедливість; ключові показники ефективності включають точність, калібрування та вартість.

Найкращі практики

Оцінка

Розв’язки з прикладами

study = optuna.create_study(direction="maximize", sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=200)

Реалізація

study = optuna.create_study(direction="maximize", sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)

Математика, що стоїть за цим

Враховуючи попередня функція f ~ GP(m, k) та шумні спостереження y = f(x)+ε, середнє значення та дисперсія апостеріорного розподілу мають замкнені форми; ядра (Matern, RBF) контролюють гладкість.

Моделі TPE визначають p(x|y) через щільності l(x) та g(x) для хороших і поганих спостережень, вибираючи x для максимізації l(x)/g(x).

EI інтегрує очікуваний поліпшення поверх апостеріорного; UCB використовує середнє значення + β·стандартне відхилення; PI інтегрує правдоподібність хвоста за межами найкращого f*.

q-EI та «фантазування» дозволяють паралельні пропозиції шляхом інтегрування поверх очікуваних оцінок.

Стратегія навчання

Часті запитання

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.