DE 
EnglishStandard
Українська
Polski📉 Gradientenabstieg — 3D-Verlustoberfläche & Optimierer
Erkunde Gradientenabstieg auf einer echten 3D-Verlustoberfläche. Vergleiche SGD, Momentum und Adam auf der berüchtigten Rosenbrock-Funktion und beobachte, wie jeder Optimierer das gekrümmte Tal navigiert.
Über diese Simulation
Diese Simulation zeigt Gradientenabstieg auf einer dreidimensionalen Verlustoberfläche, einschließlich der berüchtigten Rosenbrock-Funktion mit ihrem schmalen, gekrümmten Tal. Du kannst zwischen SGD, Momentum und Adam wechseln, um zu sehen, wie unterschiedlich jeder Optimierer mit dieser schwierigen Landschaft umgeht.
🔬 Was sie zeigt
Ein Punkt bewegt sich über eine 3D-Verlustoberfläche in Richtung des steilsten Abstiegs. Die Rosenbrock-Funktion mit ihrem engen, gekrümmten Tal stellt Optimierer vor die Herausforderung, effizient entlang des Tals statt quer dazu zu oszillieren.
🎮 Bedienung
Wähle einen Optimierer und eine Verlustoberfläche, passe die Lernrate an und beobachte den 3D-Pfad, den jeder Algorithmus nimmt, während er versucht, das globale Minimum zu erreichen.
💡 Wussten Sie schon?
Die Rosenbrock-Funktion, 1960 von Howard H. Rosenbrock vorgeschlagen, wird oft 'Rosenbrocks Bananenfunktion' genannt, weil die Form ihres Tals einer gekrümmten Banane ähnelt, und sie gilt bis heute als Standardtest für die Leistungsfähigkeit von Optimierungsalgorithmen.
Häufig gestellte Fragen
Was ist Gradientenabstieg?
Gradientenabstieg ist ein iterativer Optimierungsalgorithmus, der das Minimum einer Funktion findet, indem er wiederholt einen Schritt entgegen der Richtung des Gradienten macht. Auf einer 3D-Oberfläche entspricht das der Bewegung eines Punktes bergab in Richtung des lokal steilsten Gefälles.
Wie beeinflusst die Lernrate die Konvergenz?
Eine zu kleine Lernrate führt zu sehr langsamer Konvergenz, die viele Schritte benötigt, um das Minimum zu erreichen. Eine zu große Lernrate kann dazu führen, dass der Optimierer über das Minimum hinausschießt, um enge Täler oszilliert oder sogar divergiert, statt sich der Lösung anzunähern.
Was unterscheidet SGD von Adam?
SGD folgt direkt dem aktuellen Gradienten mit fester Schrittweite, was in engen, gekrümmten Tälern wie dem der Rosenbrock-Funktion zu starkem Oszillieren führen kann. Adam kombiniert Momentum mit adaptiven, pro Richtung skalierten Schrittweiten, wodurch er solche Täler oft deutlich effizienter durchquert.
Was ist die Rosenbrock-Funktion und warum ist sie ein schwieriger Testfall?
Die Rosenbrock-Funktion besitzt ein globales Minimum, das in einem engen, parabelförmig gekrümmten Tal liegt. Da der Gradient im Tal selbst sehr klein ist, aber quer dazu sehr steil, neigen einfache Optimierer dazu, quer zum Tal zu oszillieren, statt effizient längs des Tals zum Minimum vorzurücken.
Warum überholt Momentum manchmal Adam?
Momentum akkumuliert Schwung aus vergangenen Gradienten und kann dadurch in lang gestreckten, gleichmäßig geneigten Tälern schneller beschleunigen als Adam, dessen adaptive Schrittweitenanpassung die effektive Schrittgröße in manchen Situationen konservativer hält, was Adam in bestimmten Landschaften relativ verlangsamt.