mysimulator.uk
🔍 Szukaj symulacji…/
PL ▼
EnglishDomyślnyУкраїнськаPolski
Strona główna▸ Uczenie Maszynowe▸ Uczenie ze wzmocnieniem

🎮 Uczenie ze wzmocnieniem

Agent Q-learning przechodzi labirynt na siatce 8×8. Mapa cieplna pokazuje maksymalne wartości Q (od ciemnego do jasnoniebieskiego), białe strzałki — politykę zachłanną. Eksploracja ε-zachłanna maleje do 0,05.

Uczenie Maszynowe2DŚredni60 FPS
reinforcement-learning ↗ Otwórz osobno
Interfejs samej symulacji jest w języku angielskim.

Podobne symulacje

Drzewo decyzyjne na żywoDrzewo decyzyjne CART z podziałem wg indeksu Giniego. Obserwuj rekurencyjne podzSamoorganizująca się mapaMapa Kohonena 24×24 (576 neuronów, wejście RGB 3D). Aktualizacja gaussowskiego sKlasteryzacja K-średnich — interaktywne uczenie maszynowePrzejdź krok po kroku przez algorytm k-średnich: obserwuj zbieżność centroidów,

O tej symulacji

Autor: Zespół MySimulator · Weryfikacja redakcyjna: Redakcja MySimulator

Zaktualizowano: 17 lipca 2026 r.

Ta symulacja uczy agenta znajdowania optymalnej trasy w świecie siatkowym za pomocą Q-learningu — bezmodelowej metody uczenia ze wzmocnieniem. Świat jest procesem decyzyjnym Markowa (MDP) z komórką celu (+10), komórkami-pułapkami (−5) i niewielką karą za krok (−0,02). Agent przechowuje tabelę wartości akcji Q(s,a) i doprecyzowuje ją za pomocą aktualizacji Bellmana Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)] po każdym ruchu.

Suwaki ustawiają współczynnik uczenia α (jak mocno każde doświadczenie aktualizuje Q), współczynnik dyskontowania γ (jak bardzo liczy się przyszła nagroda), poziom eksploracji ε (prawdopodobieństwo losowego ruchu) oraz szybkość symulacji. Jasność komórki pokazuje maksymalną wartość Q, a strzałki — politykę zachłanną, dzięki czemu obserwujesz, jak od zera kształtuje się mapa wartości i trasa. Ten sam algorytm napędza sztuczną inteligencję w grach, robotykę i systemy rekomendacyjne.

Najczęściej zadawane pytania

Czym jest Q-learning?

Q-learning to bezmodelowy algorytm uczenia ze wzmocnieniem, który uczy się wartości wykonania każdej akcji w każdym stanie. Buduje tabelę wartości Q(s,a) wyłącznie na podstawie prób i nagród, bez wcześniejszego modelu środowiska, a w efekcie wartości te wskazują najlepszą akcję w każdej komórce.

Co próbuje osiągnąć agent w tej symulacji?

Żółty agent startuje w lewym górnym rogu i próbuje dotrzeć do zielonej komórki celu, która daje nagrodę +10. Czerwone pułapki dają −5 i kończą epizod, a każdy krok kosztuje −0,02, więc agent jest zmuszony znaleźć najkrótszą bezpieczną ścieżkę.

Co robi aktualizacja Bellmana?

Po każdym ruchu agent stosuje Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)]. Wyrażenie w nawiasie to błąd różnicy czasowej (temporal-difference error): różnica między nagrodą powiększoną o najlepszą zdyskontowaną przyszłą wartość a bieżącym oszacowaniem. Współczynnik uczenia α określa, jaka część tego błędu zostaje uwzględniona.

Co zmieniają suwaki współczynnika uczenia, dyskontowania i eksploracji?

Współczynnik uczenia α (0,01–1) określa, jak szybko wartości Q przesuwają się w stronę nowych oszacowań; wysokie wartości uczą się szybko, ale mogą być niestabilne. Współczynnik dyskontowania γ (0,1–0,99) waży przyszłą nagrodę, więc wartości bliskie 1 planują dalej w przyszłość. Eksploracja ε (0–1) to prawdopodobieństwo wybrania losowej akcji zamiast obecnie najlepszej.

Czym jest strategia ε-zachłanna?

Z prawdopodobieństwem ε agent wybiera losową akcję, aby eksplorować, a z prawdopodobieństwem 1−ε wybiera akcję o najwyższej znanej wartości Q, aby wykorzystać zdobytą wiedzę. Na tej stronie ε zaczyna się od wartości suwaka i maleje o 0,5% na epizod, więc agent najpierw śmiało eksploruje, a później przechodzi do wykorzystywania wiedzy.

Co oznaczają kolory i strzałki na siatce?

Jasność każdej komórki koduje jej maksymalną wartość Q, więc jaśniejsze komórki są cenniejsze. Strzałki pokazują kierunek polityki zachłannej z danej komórki, gdy jej wartość staje się dodatnia. Zielona gwiazda to cel (+10), czerwone krzyżyki to pułapki (−5), ciemnoniebieskie komórki to ściany, a żółta kropka to agent.

Dlaczego na początku wydaje się, że agent błądzi bez celu?

Na początku wszystkie wartości Q wynoszą zero, więc agent nie ma pojęcia, gdzie znajduje się cel, i eksploruje niemal losowo, zwłaszcza przy wysokim ε. W miarę jak nagrody propagują się wstecz poprzez aktualizację Bellmana, w stronę celu tworzy się gradient wartości, a błądzenie ustępuje miejsca wyraźnej, celowej ścieżce.

Czy jest to fizycznie lub matematycznie dokładny model?

Tak, dla wyidealizowanego przypadku, który reprezentuje. Udowodniono, że tabelaryczny Q-learning zbiega do optymalnej funkcji wartości akcji Q* w skończonym procesie decyzyjnym Markowa, pod warunkiem że każda para stan-akcja jest odwiedzana nieskończenie wiele razy, a współczynnik uczenia odpowiednio maleje. Siatka jest tu wiernym, niewielkim MDP, choć wykorzystuje stałą liczbę kroków zamiast formalnych harmonogramów zanikania.

Jaka jest różnica między funkcją wartości a polityką?

Funkcja wartości mówi, jak dobry jest każdy stan, i tutaj jest przedstawiona jako jasność komórki wynikająca z maksymalnej wartości Q. Polityka mówi, co robić, i jest przedstawiona jako strzałki zachłanne. Dobra funkcja wartości sprawia, że dobrą politykę łatwo odczytać: wystarczy poruszać się w stronę sąsiedniej komórki o najwyższej wartości.

Gdzie uczenie ze wzmocnieniem jest stosowane w rzeczywistym świecie?

Te same zasady napędzają systemy grające w gry, takie jak AlphaGo i agenci Atari, sterowanie robotami i ich ruchem, zarządzanie sygnalizacją świetlną i energią, silniki rekomendacyjne oraz dostrajanie dużych modeli językowych. Światy siatkowe takie jak ten są klasycznym środowiskiem dydaktycznym, ponieważ ułatwiają wizualizację mapy wartości i polityki.