Теорія оптимізації

Постановка задачі

min f(x) за умов g_i(x) ≤ 0, h_j(x) = 0. Класи: опуклі, гладкі, негладкі.

Умови оптимальності

Необхідні

∇f(x*) = 0 (без обмежень); KKT для обмежених задач за виконання QCQ.

Достатні

Гессіан ≻ 0 у точці стаціонарності; опуклість гарантує глобальний мінімум.

Двоїстість

Лагранжіан L(x,λ,ν) = f(x)+Σλᵢgᵢ(x)+Σνⱼhⱼ(x); двоїста функція і розрив двоїстості.

Методи

Градієнтні та прискорені (Nesterov).

Методи Ньютона, квазі-Ньютона (BFGS, L-BFGS).

Проєкційні методи і множники Лагранжа (ADMM).

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Spirograph і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.