ШІ та машинне навчання ★★★ Просунутий

🤖 Навчання з Підкріпленням — Q-Навчання у Мережевому Світі

Навчіть агента орієнтуватися у мережевому світі за допомогою Q-навчання. Агент вивчає значення Q(s,a) через рівняння Беллмана та ε-жадібне дослідження, наближаючись до оптимальної стратегії. Спостерігайте за функцією цінності та стрілками стратегії.

0.20
0.90
0.30
10
Епізод: 0 Кроки: 0 Загальна нагорода: 0 ε (поточний): 0.30 Найкращий запуск: —

Як читати сітку

Яскравість клітинки кодує максимальне Q-значення (цінність стану). Стрілки показують напрямок жадібної стратегії. Зелений = мета (+10). Червоний = пастка (−5). Жовтий = агент. Стіни темно-сині. Агент зменшує ε на 0.5% кожного епізоду, тож дослідження поступово поступається місцем експлуатації.

Фізика

Оновлення Беллмана: Q(s,a) ← Q(s,a) + α·[r + γ·maxa' Q(s',a') − Q(s,a)]. α = швидкість навчання, γ = коефіцієнт знижки. ε-жадібний: вибрати випадкову дію з ймовірністю ε, найкращу відому дію з ймовірністю 1−ε. Зі зменшенням ε агент використовує вивчені Q-значення. Збігається до оптимального Q*, коли всі пари (s,a) відвідуються нескінченно часто (таблична MDP, ергодична).

Про Q-навчання у сітковому світі

Ця симуляція тренує агента знаходити оптимальний маршрут у сітковому світі за допомогою Q-навчання — безмодельного методу навчання з підкріпленням. Світ є марковським процесом ухвалення рішень із цільовою клітиною (+10), клітинами-пастками (−5) та невеликим штрафом за крок (−0.02). Агент зберігає таблицю значень дій Q(s,a) й уточнює їх за допомогою оновлення Беллмана Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)] після кожного ходу.

Повзунки задають швидкість навчання α (наскільки сильно кожен досвід оновлює Q), коефіцієнт дисконтування γ (наскільки враховується майбутня винагорода), рівень дослідження ε (ймовірність випадкового ходу) та швидкість симуляції. Яскравість клітини показує максимальне значення Q, а стрілки показують жадібну політику, тож ви спостерігаєте, як карта цінностей і маршрут виникають із нуля. Той самий алгоритм лежить в основі ігрового ШІ, робототехніки та рекомендаційних систем.

Поширені запитання

Що таке Q-навчання?

Q-навчання — це безмодельний алгоритм навчання з підкріпленням, який вивчає цінність виконання кожної дії в кожному стані. Він будує таблицю значень Q(s,a) винятково на основі спроб і винагород, без попередньої моделі середовища, і зрештою ці значення вказують на найкращу дію всюди.

Що агент намагається зробити тут?

Жовтий агент починає у верхньому лівому куті й намагається досягти зеленої цільової клітини, яка дає винагороду +10. Червоні пастки дають −5 і завершують епізод, а кожен крок коштує −0.02, тож агента спонукають знайти найкоротший безпечний шлях.

Що робить оновлення Беллмана?

Після кожного ходу агент застосовує Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)]. У дужках — помилка часової різниці: розрив між винагородою плюс найкращою дисконтованою майбутньою цінністю та поточною оцінкою. Швидкість навчання α визначає, яка частка цієї помилки поглинається.

Що змінюють повзунки швидкості навчання, дисконтування та дослідження?

Швидкість навчання α (0.01–1) задає, як швидко значення Q рухаються до нових оцінок; високі значення вчаться швидко, але можуть бути нестабільними. Дисконтування γ (0.1–0.99) зважує майбутню винагороду, тож значення близько 1 планують далі вперед. Дослідження ε (0–1) — це ймовірність вибору випадкової дії замість поточної найкращої.

Що таке ε-жадібна стратегія?

З імовірністю ε агент обирає випадкову дію для дослідження, а з імовірністю 1−ε обирає дію з найвищим відомим значенням Q, щоб використати те, що вже вивчив. На цій сторінці ε починається зі значення повзунка й спадає на 0.5% за епізод, тож агент сміливо досліджує спочатку й переходить до використання згодом.

Що означають кольори та стрілки на сітці?

Яскравість кожної клітини кодує її максимальне значення Q, тож яскравіші клітини цінніші. Стрілки показують напрямок жадібної політики з цієї клітини, щойно її цінність стає додатною. Зелена зірка — це ціль (+10), червоні хрести — пастки (−5), темно-сині клітини — стіни, а жовта крапка — це агент.

Чому агент спочатку ніби блукає?

На початку кожне значення Q дорівнює нулю, тож агент не уявляє, де ціль, і досліджує майже випадково, особливо за високого ε. Коли винагороди поширюються назад через оновлення Беллмана, формується градієнт цінності до цілі, і блукання поступається місцем чіткому, цілеспрямованому шляху.

Чи є це фізично або математично точною моделлю?

Так, для ідеалізованого випадку, який вона представляє. Доведено, що табличне Q-навчання збігається до оптимальної функції цінності дій Q* у скінченному марковському процесі ухвалення рішень за умови, що кожна пара стан-дія відвідується нескінченно часто й швидкість навчання спадає належним чином. Сітка тут є вірним малим MDP, хоча вона використовує фіксовану кількість кроків, а не формальні графіки спадання.

Яка різниця між функцією цінності та політикою?

Функція цінності каже, наскільки добрий кожен стан, що показано тут яскравістю клітини за максимальним значенням Q. Політика каже, що робити, що показано жадібними стрілками. Хороша функція цінності робить хорошу політику легкою для зчитування: просто рухайтеся до сусідньої клітини з найвищою цінністю.

Де навчання з підкріпленням застосовується в реальному світі?

Ті самі принципи рухають ігрові системи, як-от AlphaGo та агенти для Atari, керування й пересування роботів, керування світлофорами та енергією, рекомендаційні рушії й тонке налаштування великих мовних моделей. Сіткові світи на кшталт цього є класичним навчальним середовищем, бо вони роблять карту цінностей і політику легкими для візуалізації.