Podstawy uczenia się w głębokim sztucznym inteligencji |…

Podstawowy pomysł: Metody gradientu zasad

Metody gradientu zasad są klasą algorytmów uczenia przez zwierciadkoanie, które bezpośrednio optymalizują zasady – podstawowym strategicznym podejściem – agenta. Zamiast nauczać funkcji wartości (jak w Q-uczeniu), uczą się jak najlepiej działać poprzez dostosowywanie rozkładu prawdopodobieństwa działań na podstawie nagród.

Te metody są szczególnie odpowiednie dla problemów z wysokim wymiarowości przestrzeni działań, w których tradycyjne metody oparte na wartościach mają trudności z generalizacją.

REINFORCE: Początkowy algorytm gradientu polityki

Algorytm REINFORCE jest podstawowym metody gradientu polityki. Używa symulacji Monte Carlo do szacowania gradientu oczekiwanej nagrody względem parametrów polityki.

To oznacza, że po każdej epoce (ciąg interakcji z środowiskiem), agent aktualizuje swoją politykę na podstawie otrzymanych nagród, co efektywnie daje mu nauczyć się, które działania prowadzą do wyższych nagród.

demo na żywo · powiązana symulacja● LIVE

Optymalizacja polityki bezpośrednia: skalowanie do wysokich wymiarów

Kluczowym wyzwaniem w uczeniu z powtórzenia jest radzenie sobie z wymiernymi przestrzeniami akcji. Optymalizacja polityki bezpośrednia rozwiązuje to, ucząc się bezpośrednio mapowania od stanów do akcji, zamiast opierać się na funkcjach wartości.

Ten podejście często obejmuje techniki takie jak spadkowa gradientowa stochastyczna i aproksymacja funkcji, aby skutecznie aktualizować parametry polityki na podstawie obserwowanych nagród.

Często zadawane pytania

Czym jest gradient polityki?

Gradient polityki to rodzaj algorytmu uczenia przez zwierciadlenie, który na directy leczy optymalną politykę poprzez szacowanie gradientu oczekiwanej nagrody względem parametrów polityki. Jest to jak znalezienie najlepszego sposobu prowadzenia agenta w kierunku swojego celu bez wyraźnego obliczania funkcji wartości.

Jak działa REINFORCE?

REINFORCE używa próbek Monte Carlo – po każdej epoce interakcji z środowiskiem, aktualizuje on politykę na podstawie nagród otrzymanych. Wielkość tej aktualizacji jest proporcjonalna do gradientu oczekiwanej nagrody, co pozwala agentowi na naukę, które działania są najbardziej korzystne.

Dlaczego wysoka wymiarowość przestrzeni działan stanowi wyzwanie?

Wysoka wymiarowość przestrzeni działan sprawia, że trudno algorytmom uczenia przez zwierciadlenie generalizować efektywnie. Tradycyjne metody oparte na wartości stają się trudnymi w reprezentacji i aktualizowaniu funkcji wartości, co prowadzi do słabej wydajności w złożonych środowiskach.

▶ Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Hash Function Avalanche Visualizer i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.

▶ Otwórz symulację Hash Function Avalanche Visualizer