Matematyka optymizacji opartej na gradientach dla hiperparametrów

Optymalizacja biegunowa obejmuje zagadnienia włożone: zewnętrzna optymalizacja (hiperparametry) zależy od wewnętrznej optymalizacji (treningu modelu). Formalnie to: min_λ L_val(θ*(λ)), gdzie θ*(λ) = argmin_θ L_train(θ, λ).

Hipergradienty to gradienty funkcji celu względem hiperparametrów: ∇_λ L_val. Wymagają obliczenia ∂θ*/∂λ, pochodnej parametrów optymalnych względem hiperparametrów.

Użyj różniczkowania niejawnego: ∂θ*/∂λ = -(∇²_θ L_train)⁻¹ ∇²_θλ L_train. Albo użyj automatycznego różniczkowania podczas treningu, różnic finite czy przybliżeń.

Różniczkowanie niejawne oblicza pochodne w przypadku, gdy zależność jest niejawną. Dla hiperparametrów używa twierdzenia funkcji niejawnej do obliczenia ∂θ*/∂λ z warunku optymalności ∇_θ L_train = 0.

Hipergradienty wymagają pochodnych drugiego rzędu i odwrotności macierzy, co sprawia, że są drogie. Przybliżenia i metody skrócone zmniejszają koszt, ale wprowadzają błąd przybliżony.