Градієнтне зниження та сучасні оптимізатори: Adam, RMSprop, Momentum

Слідування за схилом

Уявіть собі, що функція втрат (loss function) – це ландшафт з гір і долин, де горизонтальні координати – це параметри моделі, а висота – величина втрат. Градієнт вказує напрямок найшвидшого зростання, тому градієнтне спудення рухається у протилежному напрямку:

θ = θ − η · ∇J(θ) θ = параметри, η = швидкість навчання, ∇J(θ) = градієнт функції втрат Якщо швидкість навчання (η) занадто велика, кроки перестрибують через долину, викликаючи розбіжність або коливання; якщо вона занадто мала, то процес навчання буде повільним. Обчислення градієнту для всього набору даних є повільним, тому використовується міні-пакетне градієнтне спудення – оцінка градієнта з невеликого випадкового вибірку (зазвичай 32-512 прикладів) на кожному кроці, що є швидким та вводить шум, який може допомогти оптимізатору вибратися з поганих областей.

θ = θ − η · ∇J(θ)

θ = parameters, η = learning rate, ∇J(θ) = gradient of loss

Моментум, RMSprop та Adam

Просте градієнтно-наближне оптимізування (SGD) має труднощі на довгих, вузьких ущелинах, коли воно звиваються по стінкам, ковтаючи підлогу. Моментум накопичує експоненційно зважену швидкість від минулих градієнтів (v = β·v + ∇J(θ)), зазвичай β ≈ 0.9), тому послідовні напрямки збільшують швидкість, а коливання скасовуються. RMSprop замість цього ділить кожен крок на середньоквадратичне значення останніх градієнтів, надаючи кожному параметру власну адаптивну швидкість навчання — гасить шумливі параметри та підсилює тихі. Adam поєднує обидва: механізм моментума першого моменту плюс механізм RMSprop другого моменту, з корекцією упередження на ранніх етапах. З розумними значеннями за замовчуванням (β₁=0.9, β₂=0.999, ε=1e-8) воно часто надійно навчається з мінімальним налаштуванням, тому стало основною робочою конячкою глибокого навчання — хоча добре відрегульоване SGD з моментумом іноді краще узагальнює, особливо в комп’ютерному баченні.

Сідлові точки, а не локальні мінімуми, є справжньою перешкодою

Поширена помилка полягає в тому, що градієнтний спуск знаходить єдину глобальну мінімальну величину — насправді, особливо для нейронних мереж, він знаходить достатньо хорошу мінімальну величину, і це зазвичай достатньо. Інша помилка полягає в тому, що локальні мінімуми є головною проблемою; у дуже високих вимірах просторів втрат реальних мереж справжні локальні мінімуми статистично рідкісні, а сідлові точки — де градієнт зникає, але поверхня згинається в деяких напрямках і вниз в інших — є більшою перешкодою, оскільки простий градієнтний спуск там може зупинитися. Момент та адаптивні методи допомагають нести оптимізатор через це.

Frequently asked questions

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте the simulation і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.