mysimulator.uk
🔍 Пошук симуляцій…/
UK ▼
EnglishТиповаУкраїнськаPolski
Головна▸ Машинне навчання та Нейронні мережі▸ Навчання з підкріпленням

🎮 Навчання з підкріпленням

Q-агент рухається у сітковому лабіринті 8×8. Теплова карта показує max Q-значення клітинок; стрілки — жадібну стратегію. ε-жадібне дослідження загасає до 0.05 за епізод.

Машинне навчання та Нейронні мережі2DСередній60 FPS
reinforcement-learning ↗ Відкрити окремо
DRAG · SCROLL · CLICK — керуйте прямо у вікні симуляції.

Схожі симуляції

Дерево рішень LiveCART дерево рішень з домішком Джині. Осьові розбиття з'являються рівень за рівнеКарта, що самоорганізуєтьсяSOM Колонена 24×24 (576 нейронів, RGB вхід). Гаусове оновлення сусідства, загасаКластеризація K-Means — Машинне навчанняПокrokово виконуйте k-means кластеризацію: спостерігайте за збіжністю центроїдів

Про цю симуляцію

Автор: Команда MySimulator · Редакційна перевірка: Редакція MySimulator

Оновлено: 16 липня 2026 р.

Ця симуляція навчає агента знаходити оптимальний маршрут у сітковому світі за допомогою Q-навчання — методу навчання з підкріпленням без моделі середовища. Світ являє собою марковський процес прийняття рішень (MDP) із цільовою клітинкою (+10), клітинками-пастками (−5) та невеликим штрафом за крок (−0.02). Агент зберігає таблицю значень дій Q(s,a) і уточнює їх за допомогою оновлення Беллмана Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)] після кожного ходу.

Повзунки задають швидкість навчання α (наскільки сильно кожен досвід оновлює Q), коефіцієнт дисконтування γ (наскільки враховується майбутня винагорода), рівень дослідження ε (ймовірність випадкового ходу) та швидкість симуляції. Яскравість клітинки показує максимальне Q-значення, а стрілки — жадібну політику, тож ви спостерігаєте, як карта цінностей і маршрут формуються з нуля. Той самий алгоритм лежить в основі ігрового ШІ, робототехніки та рекомендаційних систем.

Поширені запитання

Що таке Q-навчання?

Q-навчання — це алгоритм навчання з підкріпленням без моделі середовища, який вивчає цінність виконання кожної дії в кожному стані. Він будує таблицю значень Q(s,a) виключно на основі спроб і винагород, без попередньої моделі середовища, і зрештою ці значення вказують на найкращу дію в кожній клітинці.

Що намагається зробити агент у цій симуляції?

Жовтий агент стартує у верхньому лівому куті та намагається дістатися зеленої цільової клітинки, яка дає винагороду +10. Червоні пастки дають −5 і завершують епізод, а кожен крок коштує −0.02, тож агента підштовхують знайти найкоротший безпечний шлях.

Що робить оновлення Беллмана?

Після кожного ходу агент застосовує Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') − Q(s,a)]. Вираз у дужках — це помилка часової різниці (temporal-difference error): різниця між винагородою плюс найкращою дисконтованою майбутньою цінністю та поточною оцінкою. Швидкість навчання α контролює, яка частка цієї помилки враховується.

Що змінюють повзунки швидкості навчання, дисконтування та дослідження?

Швидкість навчання α (0.01–1) визначає, як швидко Q-значення рухаються до нових оцінок; високі значення навчаються швидко, але можуть бути нестабільними. Коефіцієнт дисконтування γ (0.1–0.99) зважує майбутню винагороду, тож значення, близькі до 1, планують на більшу перспективу. Рівень дослідження ε (0–1) — це ймовірність обрати випадкову дію замість поточної найкращої.

Що таке ε-жадібна стратегія?

З імовірністю ε агент обирає випадкову дію для дослідження, а з імовірністю 1−ε — дію з найвищим відомим Q-значенням, щоб використати вже здобуті знання. На цій сторінці ε починається зі значення повзунка й загасає на 0.5% за кожен епізод, тож спочатку агент активно досліджує середовище, а згодом переходить до використання набутих знань.

Що означають кольори та стрілки на сітці?

Яскравість кожної клітинки кодує її максимальне Q-значення, тож яскравіші клітинки є ціннішими. Стрілки показують напрям жадібної політики з цієї клітинки, коли її значення стає додатним. Зелена зірка — це ціль (+10), червоні хрестики — пастки (−5), темно-сині клітинки — стіни, а жовта крапка — агент.

Чому спочатку здається, що агент блукає безцільно?

На початку всі Q-значення дорівнюють нулю, тож агент не має уявлення, де знаходиться ціль, і досліджує середовище майже випадково, особливо за високого ε. У міру того як винагороди поширюються назад через оновлення Беллмана, формується градієнт цінностей у бік цілі, і безцільне блукання поступається місцем чіткому, цілеспрямованому шляху.

Чи є ця модель фізично або математично точною?

Так, для ідеалізованого випадку, який вона представляє. Доведено, що табличне Q-навчання збігається до оптимальної функції цінності дій Q* у скінченному марковському процесі прийняття рішень за умови, що кожна пара стан-дія відвідується нескінченно часто, а швидкість навчання відповідно загасає. Сітка тут є достовірним невеликим MDP, хоча вона використовує фіксовану кількість кроків, а не формальні графіки загасання.

У чому різниця між функцією цінності та політикою?

Функція цінності показує, наскільки хорошим є кожен стан, і тут вона відображається як яскравість клітинки на основі максимального Q-значення. Політика показує, що робити, і відображається як жадібні стрілки. Хороша функція цінності робить хорошу політику легко зчитуваною: достатньо рухатися до сусідньої клітинки з найвищим значенням.

Де навчання з підкріпленням застосовується в реальному світі?

Ті самі принципи лежать в основі ігрових систем, таких як AlphaGo та агенти для ігор Atari, керування роботами та їхнім рухом, управління світлофорами та енергосистемами, рекомендаційних систем і донавчання великих мовних моделей. Сіткові світи, подібні до цього, є класичним навчальним середовищем, оскільки вони роблять карту цінностей і політику легкими для візуалізації.