Reinforcement Learning та навчання з підкріпленням

🎓 Основні концепції

Markov Decision Process (MDP)

Визначення: Математична модель для RL. Включає states, actions, rewards, transition probabilities.

Markov Property: Майбутнє залежить тільки від поточного стану, не від історії.

Компоненти: State space, action space, reward function, transition function, discount factor (gamma).

Value Functions

State Value (V): Очікувана накопичена нагорода з поточного стану.

Action Value (Q): Очікувана накопичена нагорода з поточного стану та дії.

Bellman Equation: Рекурсивне рівняння для обчислення value functions.

Policy

Визначення: Стратегія агента — функція, що визначає дію для кожного стану.

Типи: Deterministic (одна дія), stochastic (розподіл ймовірностей дій).

Оптимальна Policy: Policy, що максимізує очікувану накопичену нагороду.

🔧 Алгоритми RL

Q-Learning

Концепція: Value-based метод. Навчає Q-function (action-value function).

Алгоритм: Q(s,a) = Q(s,a) + α[r + γ max Q(s',a') - Q(s,a)]. Оновлює Q-values через TD learning.

Переваги: Off-policy (може навчатися з будь-яких дій), простий, стабільний.

Обмеження: Працює тільки для дискретних просторів станів/дій.

Deep Q-Network (DQN)

Концепція: Q-Learning з deep neural network для апроксимації Q-function.

Інновації: Experience replay (зберігає та перевикористовує досвід), target network (стабільніше навчання).

Переваги: Працює для великих просторів станів, успішно для складних задач.

Policy Gradients

Концепція: Policy-based метод. Навчає policy напряму через градієнти.

Алгоритм: REINFORCE, Actor-Critic. Оновлює policy для максимізації очікуваної нагороди.

Переваги: Працює для неперервних просторів дій, може навчатися stochastic policies.

📚 Практичні приклади

Приклад 1: Q-Learning для простого середовища

Середовище: Створити просте середовище (наприклад, grid world).

Q-table: Ініціалізувати Q-table (states × actions).

Навчання: Для кожного епізоду: вибрати дію (epsilon-greedy), отримати нагороду, оновити Q-value.

Policy: Після навчання використати greedy policy (найкраща дія).

Приклад 2: DQN для складного середовища

Архітектура: Створити deep network для Q-function. Experience replay buffer.

Навчання: Збирати досвід, навчатися на випадкових батчах. Оновлювати target network.

Оцінка: Відстежувати episode reward, success rate.

© 2025 Науковий Симулятор. Всі права захищені.

Reinforcement Learning: навчання через взаємодію

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Dimensionality Reduction: PCA, t-SNE & UMAP і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.