PL 
EnglishDomyślny
Українська📉 Wizualizacja spadku gradientu
Zobacz, jak SGD, Momentum, RMSprop i Adam poruszają się po trójwymiarowym krajobrazie funkcji straty. Porównaj szybkość zbieżności i kształt trajektorii. Reguluj krok uczenia, moment i szum gradientu.
O tej symulacji
Ta wizualizacja umieszcza jeden lub więcej optymalizatorów na trójwymiarowym krajobrazie funkcji straty i animuje iteracyjną ścieżkę, którą każdy z nich wyznacza w kierunku minimum. W każdym kroku dokładny gradient wybranej funkcji testowej jest obliczany analitycznie, opcjonalnie dodawany jest szum, a reguła aktualizacji parametrów dla SGD, Momentum, RMSprop lub Adama przesuwa znacznik w dół. Obserwowanie czterech ścieżek ścigających się po powierzchniach takich jak dolina Rosenbrocka pokazuje, dlaczego metody adaptacyjne tak różnie radzą sobie z krzywizną, wąskimi wąwozami i punktami siodłowymi.
🔬 Co przedstawia
Wyrenderowana mapa wysokości klasycznego testu optymalizacyjnego (Rosenbrock, funkcja siodłowa, funkcja Beale'a lub Himmelblau). Kolorowe punkty schodzą po niej, wykorzystując rzeczywiste równania aktualizacji: zwykły SGD (x ← x − lr·g), Momentum, skalowanie RMSprop oparte na kwadracie gradientu dla każdej osi oraz Adam z jego skorygowanymi o obciążenie momentami pierwszego i drugiego rzędu (β₁, β₂ = 0,999). Biała ★ oznacza globalne minimum, do którego zmierza każda ścieżka.
🎮 Jak korzystać
Wybierz optymalizator (lub opcję „Wszystkie cztery", aby porównać) oraz funkcję straty z list rozwijanych. Suwak Learning Rate (0,001–0,2), suwak Momentum / β₁ (0–0,99) oraz suwak Gradient Noise (0–0,5) na żywo zmieniają dynamikę symulacji. Użyj przycisku Reset, aby zacząć od nowa, Pause, aby zatrzymać, a przeciągnij, by obrócić kamerę, lub przewiń kółkiem, by przybliżyć. Panel telemetrii pokazuje liczbę kroków, wartość straty, normę gradientu oraz przesunięcie w każdym kroku.
💡 Czy wiesz, że?
Funkcja Rosenbrocka, zwana „bananową", ma globalne minimum w punkcie (1, 1), które leży wewnątrz długiej, zakrzywionej i niemal płaskiej doliny. Podążanie za gradientem sprowadza cię do doliny niemal natychmiast, ale przemieszczanie się po jej dnie do prawdziwego minimum jest notorycznie powolne — właśnie dlatego funkcja ta stała się standardowym testem obciążeniowym dla algorytmów optymalizacji.
Najczęściej zadawane pytania
Czym jest spadek gradientu?
Spadek gradientu to iteracyjna metoda minimalizacji funkcji poprzez wielokrotne przesuwanie się w kierunku najszybszego spadku, czyli ujemnego gradientu. Każda aktualizacja wygląda następująco: parametr = parametr − współczynnik_uczenia × gradient. W uczeniu maszynowym jest to mechanizm dostosowujący wagi modelu w celu zmniejszenia straty, a ta strona pokazuje ten proces na powierzchni o dwóch wejściach, wyrenderowanej w 3D.
Czym różnią się SGD, Momentum, RMSprop i Adam?
SGD wykonuje krok o stałej wielkości wzdłuż surowego gradientu. Momentum gromadzi prędkość, dzięki czemu przyspiesza w spójnych kierunkach i tłumi oscylacje. RMSprop dzieli każdy krok przez kroczącą średnią kwadratów gradientów, nadając każdej osi własną skalę adaptacyjną. Adam łączy momentum ze skalowaniem w stylu RMSprop oraz korektą obciążenia, dlatego często zbiega tu najszybciej.
Do czego służą suwaki kroku uczenia i szumu?
Krok uczenia (learning rate) określa, jak daleko przesuwa się każdy krok; zbyt mały powoduje, że zbieżność pełznie, a zbyt duży sprawia, że znacznik przeskakuje cel lub rozbiega się. Gradient Noise dodaje losowe zaburzenie proporcjonalne do wielkości gradientu, naśladując stochastyczne gradienty treningu na mini-paczkach i pokazując, jak każdy optymalizator radzi sobie z niedokładnym oszacowaniem kierunku.
Czy symulacja jest matematycznie dokładna?
Tak, jeśli chodzi o podstawową mechanikę. Gradienty wszystkich czterech funkcji straty są zakodowane analitycznie, a cztery reguły aktualizacji implementują standardowe równania, w tym skorygowane o obciążenie momenty Adama z β₂ ustalonym na 0,999. To wierny model dydaktyczny z dwoma parametrami, a nie pełna głęboka sieć, więc pomija mini-paczki, zanikanie wag (weight decay) i harmonogramy kroku uczenia.
Dlaczego optymalizatory czasem się zacinają lub zachowują dziwnie?
Na powierzchni siodłowej gradient niemal zanika wzdłuż jednego kierunku, więc zwykły SGD może się zatrzymać, podczas gdy metody adaptacyjne wydostają się szybciej. Na funkcji Himmelblau istnieją cztery oddzielne minima, więc punkt startowy decyduje, do którego zagłębienia trafi ścieżka. Te zachowania pokazują, że spadek gradientu znajduje minimum lokalne blisko punktu startowego, niekoniecznie globalne.