🚦 Optymalizacja sygnalizacji świetlnej: sterowanie adaptacyjne

Q(s,a) ← Q(s,a) + α[r + γ·max_a′ Q(s′,a′) − Q(s,a)]. Po wykonaniu akcji a w stanie s i zaobserwowaniu nagrody r oraz następnego stanu s′, agent przesuwa swoje oszacowanie wartości akcji Q(s,a) w kierunku zaobserwowanej nagrody plus zdyskontowanej wartości najlepszej akcji dostępnej w następnym stanie. α to współczynnik uczenia (jak bardzo każda obserwacja aktualizuje tabelę), a γ to współczynnik dyskontowania ważący przyszłą nagrodę względem nagrody natychmiastowej.

Z prawdopodobieństwem ε agent wybiera jednorodnie losową fazę (eksploracja), a z prawdopodobieństwem 1−ε wybiera fazę o najwyższej bieżącej wartości Q dla bieżącego stanu (eksploatacja). Czysta eksploatacja od początku pozwoliłaby agentowi utknąć w przeciętnej strategii odkrytej wcześnie; czysta eksploracja nigdy nie zbiegłaby do dobrej strategii. Eksploracja epsilon-zachłanna to najprostszy praktyczny kompromis, a suwak ε w tej symulacji pozwala bezpośrednio odczuć ten kompromis — wysokie ε sprawia, że agent jest wyraźnie bardziej chaotyczny, niskie ε sprawia, że osiada na tym, co już wie.

Tak, z zastrzeżeniami. Udowodniono, że Q-learning zbiega do optymalnej funkcji wartości akcji dla procesu decyzyjnego Markowa, pod warunkiem że każda para stan-akcja jest odwiedzana nieskończenie wiele razy (co wymaga, by ε nigdy w pełni nie zanikło) a współczynnik uczenia jest odpowiednio zaplanowany. W tym uproszczonym, skończonym przebiegu treningowym zobaczysz, że średni czas oczekiwania na epizod ma tendencję spadkową z widocznym szumem — szumem, który nigdy w pełni nie znika, ponieważ napływ ruchu jest stochastyczny, a przestrzeń stanów jest na tyle mała, że pojedyncze pechowe epizody nadal się zdarzają nawet przy niemal optymalnej strategii.

SCOOT (Split, Cycle and Offset Optimisation Technique, opracowany w Wielkiej Brytanii) i SCATS (Sydney Coordinated Adaptive Traffic System, opracowany w Australii) to prawdziwe, szeroko wdrożone adaptacyjne systemy sygnalizacji świetlnej stosowane w setkach miast na całym świecie. Oba wykorzystują pętle indukcyjne lub kamery do pomiaru ruchu w czasie rzeczywistym i ciągłego dostosowywania podziałów sygnałów, długości cykli i przesunięć między skrzyżowaniami, zamiast polegać na stałym harmonogramie. Są to produkcyjne potomkowie tej samej podstawowej idei zademonstrowanej tutaj w miniaturze: niech zmierzone dane o kolejkach i przepływie napędzają czasowanie sygnalizacji zamiast ustalonego zegara.

Tabelaryczny Q-learning potrzebuje skończonej przestrzeni stanów — osobnego wiersza tabeli dla każdego odrębnego stanu. Używanie dokładnej liczby pojazdów w kolejce (0, 1, 2, 3, ... aż do kilkudziesięciu samochodów) na czterech dojazdach spowodowałoby ogromny wzrost rozmiaru tabeli i wymagałoby znacznie więcej doświadczenia, by wypełnić każdy wpis użytecznym oszacowaniem. Grupowanie kolejki każdego dojazdu na kilka poziomów (pusta / lekka / umiarkowana / ciężka) utrzymuje tabelę na tyle małą, by szybko się uczyć, jednocześnie zachowując informacje o ruchu istotne dla decyzji o wyborze fazy.

Nagroda dla każdego okna decyzyjnego to ujemna wartość całkowitych sekund kolejki zgromadzonych na wszystkich dojazdach podczas tego okna — bezpośredni wskaźnik zastępczy opóźnienia. Minimalizacja sumy ujemnych nagród (równoważnie, maksymalizacja skumulowanej nagrody) jest matematycznie równoważna minimalizacji całkowitych sekund opóźnienia pojazdów, co dokładnie śledzi wskaźnik „średniego oczekiwania”. Jest to ta sama wielkość, której inżynierowie ruchu używają do uzasadniania wdrożeń sygnalizacji adaptacyjnej w prawdziwym świecie.

To ten sam mechanizm uczenia ze wzmocnieniem, który jest używany w symulacji Uczenia ze wzmocnieniem w świecie siatki, zastosowany do ciągłej, stochastycznej domeny kolejkowej zamiast dyskretnej siatki. Łączy się to również z symulacjami Samochodu autonomicznego oraz Ramienia robota do chwytania i umieszczania, które wykorzystują inne podejścia do uczenia i sterowania, by rozwiązywać inne problemy decyzyjne w czasie rzeczywistym dla systemów autonomicznych.