Q-learning is a model-free reinforcement learning algorithm that learns the expected long-run value, Q(state, action), of taking each action in each state, without needing a model of the environment's dynamics. It updates a table of Q-values using the Bellman equation, Q(s,a) ← Q(s,a) + α[r + γ·max Q(s′,a′) − Q(s,a)], where α is the learning rate, γ the discount factor, and r the reward received after acting. Over many trials the Q-table converges toward the true optimal action-value function, from which a greedy policy (always pick the highest-value action) becomes near-optimal.

How is the traffic intersection turned into a Markov decision process?

The continuous, real-valued traffic state is discretized: each of the four approach queues (North, South, East, West) is bucketed into five levels (0, 1, 2, 3, 4-or-more vehicles), and combined with the current signal phase (North-South green or East-West green) to form one of 1,250 possible states. The agent has just two actions available at each decision point: keep the current phase, or attempt to switch it (subject to a minimum green-time constraint so lights cannot flicker). This is exactly the state/action/reward structure a tabular Q-learning agent needs.

What reward signal drives the learning?

After every decision step the simulator counts the total vehicle-seconds of delay accumulated across all four approaches during that step (an accepted proxy for real intersection wait time) and hands the agent a reward equal to the negative of that delay, with an extra penalty subtracted whenever a phase switch actually occurs (representing the lost time of an amber/all-red clearance interval). Because the agent is rewarded for minimising delay, its learned policy is literally the timing strategy that reduces simulated wait time the most, not a scripted or pre-baked schedule.

Why does epsilon-greedy exploration matter?

Early in training the Q-table is all zeros, so a purely greedy agent would get stuck repeating whatever action it tried first. Epsilon-greedy action selection picks a random action with probability epsilon and the current best-known action otherwise, guaranteeing every state-action pair eventually gets sampled so its Q-value can be learned. Epsilon is decayed each episode toward a small floor so the agent explores heavily at first and increasingly exploits its learned policy as training progresses, which is exactly the epsilon curve you can watch decay live in the stats panel.

Is the learning curve genuine or scripted?

It is computed live from the agent's own performance: every 120 decision steps (one simulated episode) the simulator divides the total accumulated vehicle-seconds of delay by the number of vehicles that arrived, giving a true average wait time for that episode, and plots it as a new point. No target curve is drawn in — if you set the hyperparameters badly (for example alpha too high or epsilon decaying too fast) the curve can plateau early or stay noisy, exactly as it would for a real tabular Q-learning agent.

Головна▸ШІ та Машинне навчання▸Оптимізатор Світлофорів — Q-Навчання Наживо

🚦 Оптимізатор Світлофорів — Q-Навчання Наживо

Спостерігайте, як справжній табличний агент Q-навчання вивчає політику таймінгу світлофора методом проб і винагород, зменшуючи симульований час очікування на перехресті в міру збіжності його Q-таблиці за епізодами.

AI & Machine Learning3DПросунутий60 FPS

Про цю симуляцію

Цей симулятор ставить справжнього табличного агента Q-навчання керувати симульованим 4-стороннім перехрестям і дає йому вчитися виключно методом проб і винагород, як таймити світлофор. Ніщо в політиці таймінгу не є сценарним: агент починає з порожньої Q-таблиці й без жодного уявлення про те, як виглядає «гарне» керування трафіком, і відкриває стратегію з низькою затримкою лише повторюваними діями, вимірюванням отриманих черг автомобілів та оновленням своїх оцінок цінності за справжнім рівнянням Беллмана.

🔬 Що показано

3D-перехрестя згори з автомобілями, що шикуються в чергу на кожному з чотирьох підходів (Північ, Південь, Схід, Захід), поки прибуття накопичуються, а світлофор періодично пропускає одну пару напрямків за раз. Під капотом справжня Q-таблиця з 1250 дискретизованих станів × 2 дії оновлюється на кожному кроці рішення за Q(s,a) ← Q(s,a) + α[r + γ·max Q(s′,a′) − Q(s,a)], де винагорода — це від'ємне значення справжньої симульованої затримки в автомобіле-секундах. Жива крива навчання відстежує середній час очікування за тренувальний епізод, а теплова карта політики візуалізує, які кошики станів агент навчився перемикати, а які утримувати.

🎮 Як користуватися

Налаштуйте швидкість навчання α, коефіцієнт дисконтування γ, початкову швидкість дослідження ε та її спадання за епізод, щоб змінити, як агент навчається. Задайте частоту прибуття по кожному підходу, щоб створити асиметричний або симетричний трафік. Використовуйте повзунок швидкості тренування, щоб прискорити багато кроків рішення на кадр рендерингу, тож Q-таблиця збігається за секунди, а не хвилини, перемкніться на вигляд теплової карти політики, щоб безпосередньо перевірити вивчені різниці Q-значень, або натисніть «Переглянути жадібну», щоб заморозити дослідження й побачити чистий запуск поточної найкращої політики.

💡 Чи знали ви?

Оскільки простір станів тут достатньо малий, щоб точно перерахувати (1250 станів × 2 дії = 2500 записів таблиці), це одна з небагатьох задач навчання з підкріпленням, де можна спостерігати, як кожна окрема клітинка Q-таблиці збігається наживо, замість того щоб довіряти чорноящиковому апроксиматору функції. Реальні адаптивні системи світлофорів (наприклад, SCOOT, SCATS та різні дослідницькі впровадження) використовують багатші версії саме цієї ідеї — формування винагороди навколо затримки та функції цінності, що вивчаються чи налаштовуються онлайн.

Часті питання

Що таке Q-навчання?

Q-навчання — це безмодельний алгоритм навчання з підкріпленням, який вивчає очікувану довгострокову цінність Q(стан, дія) виконання кожної дії в кожному стані, без потреби в моделі динаміки середовища. Він оновлює таблицю Q-значень за рівнянням Беллмана, Q(s,a) ← Q(s,a) + α[r + γ·max Q(s′,a′) − Q(s,a)], де α — швидкість навчання, γ — коефіцієнт дисконтування, а r — винагорода, отримана після дії. За багато випробувань Q-таблиця збігається до справжньої оптимальної функції цінності дії, з якої жадібна політика (завжди обирати дію з найвищою цінністю) стає майже оптимальною.

Як перехрестя перетворюється на марковський процес прийняття рішень?

Неперервний, дійснозначний стан трафіку дискретизується: кожна з чотирьох черг підходу (Північ, Південь, Схід, Захід) розбивається на п'ять рівнів (0, 1, 2, 3, 4-або-більше автомобілів) і поєднується з поточною фазою світлофора (зелений Північ-Південь або зелений Схід-Захід), утворюючи один із 1250 можливих станів. Агент має лише дві доступні дії в кожній точці рішення: зберегти поточну фазу або спробувати її перемкнути (з урахуванням обмеження мінімального часу зеленого, щоб світло не блимало). Це саме та структура стан/дія/винагорода, яка потрібна табличному агенту Q-навчання.

Який сигнал винагороди керує навчанням?

Після кожного кроку рішення симулятор підраховує загальну затримку в автомобіле-секундах, накопичену на всіх чотирьох підходах за цей крок (прийнятий проксі для реального часу очікування на перехресті), і видає агенту винагороду, що дорівнює від'ємному значенню цієї затримки, з додатковим штрафом, що віднімається щоразу, коли справді відбувається перемикання фази (представляючи втрачений час інтервалу очищення жовтий/весь-червоний). Оскільки агента винагороджують за мінімізацію затримки, його вивчена політика буквально є стратегією таймінгу, яка найбільше зменшує симульований час очікування, а не сценарним чи заздалегідь підготовленим розкладом.

Чому важливе epsilon-жадібне дослідження?

На ранніх етапах тренування Q-таблиця повністю нульова, тож суто жадібний агент застряг би, повторюючи ту дію, яку спробував першою. Epsilon-жадібний вибір дії обирає випадкову дію з імовірністю epsilon і поточну найкращу відому дію в іншому випадку, гарантуючи, що кожна пара стан-дія врешті буде вибрана, тож її Q-значення можна буде вивчити. Epsilon спадає кожен епізод до невеликого мінімуму, тож агент спочатку інтенсивно досліджує й дедалі більше використовує вивчену політику в міру прогресу тренування — це саме та крива epsilon, спадання якої можна спостерігати наживо на панелі статистики.

Крива навчання справжня чи сценарна?

Вона обчислюється наживо з власної продуктивності агента: кожні 120 кроків рішення (один симульований епізод) симулятор ділить загальну накопичену затримку в автомобіле-секундах на кількість автомобілів, що прибули, даючи справжній середній час очікування для цього епізоду, і наносить його як нову точку. Жодна цільова крива не малюється заздалегідь — якщо ви погано налаштуєте гіперпараметри (наприклад, alpha занадто високий або epsilon спадає занадто швидко), крива може вийти на плато рано або залишатися шумною, точно як це було б для справжнього табличного агента Q-навчання.

⚙ Під капотом

Справжній табличний агент Q-навчання керує симульованим 4-стороннім перехрестям: дискретизовані стани довжини черги, epsilon-жадібна політика над простором із 2 дій та справжнє оновлення Беллмана, що виконується наживо в браузері, безперервно тренуючись на багатьох симульованих епізодах.

Навчання з підкріпленнямQ-LearningМарковський процес прийняття рішеньКерування трафікомРівняння Беллмана

3D · рушій Three.js / WebGL · ціль 60 кадрів/с · працює повністю на клієнті, без встановлення