🎯 Перевернутий маятник: класична задача керування

Вільний маятник має стійку рівновагу, висячи прямо вниз (θ = 180°): підштовхніть його — і гравітація поверне його назад. Верхня точка системи «візок-маятник» (θ = 0°) — це протилежний тип нерухомої точки: справжні нелінійні рівняння теоретично врівноважуються там (сумарний момент дорівнює нулю), але будь-яке найменше збурення зростає, а не згасає, тому що відновлювальний момент гравітації поблизу θ = 0 діє на маятник у напрямку, що збільшує нахил, а не в напрямку, що його виправляє. Це підручникове визначення нестійкої рівноваги, і саме тому цій симуляції потрібен активний регулятор, що працює кожен кадр — вимкніть його (встановіть усі коефіцієнти на 0), і маятник одразу впаде, без жодного поштовху.

Ця симуляція чисельно інтегрує стандартні пов'язані диференціальні рівняння системи «візок-маятник» (за Саттоном, Барто та Андерсоном, 1983, з доданим тертям): θ̈ = [g·sinθ − cosθ·((F + m·l·θ̇²·sinθ − b·ẋ)/(M+m)) − c·θ̇/(m·l)] / [l·(4/3 − m·cos²θ/(M+m))], та ẍ = [F + m·l·(θ̇²·sinθ − θ̈·cosθ) − b·ẋ] / (M+m), де M — маса візка, m — маса маятника, l — половина довжини маятника, F — прикладена до візка сила, а b, c — невеликі доданки в'язкого тертя. Вони розв'язуються з фіксованим малим кроком часу щокадру — ніщо в падінні чи відновленні не є попередньо анімованим.

Лінеаризація наведених вище рівнянь поблизу θ = 0 показує, що замкнутий контур стійкий лише тоді, коли Kp перевищує g·(M + маса візка) — приблизно 19–20 Н/рад для мас цієї установки — нижче цього порогу дестабілізувальний момент гравітації переважає пропорційну корекцію, і маятник падає, спочатку повільно, а потім швидко, незалежно від початкових умов. Цей поріг — реальна, обчислювана властивість саме цієї системи, а не підібрана константа, тому пресет Слабкі коефіцієнти (Kp значно нижче цього порогу) надійно демонструє повільну, справжню втрату рівноваги.

Надмірний пропорційний коефіцієнт надто сильно реагує на малі похибки кута, перекомпенсовуючи корекцію і збуджуючи коливання; надмірний диференціальний коефіцієнт настільки агресивно підсилює доданок кутової швидкості, що привід багаторазово насичується на ±22 Н, і керуюча сила починає «тремтіти» між своїми межами. Обидва режими відмови безпосередньо видно в цій симуляції: спостерігайте, як стрілка сили мерехтить, а візок здригається туди-сюди, поки коливання не наростуть настільки, що маятник перевалиться за межу відновлення — реальний приклад класичного компромісу PID-налаштування між чутливістю та стійкістю.

Балансування та переміщення пов'язані в реальній системі «візок-маятник»: щоб перемістити візок, спершу потрібно трохи нахилити маятник у напрямку руху й дати гравітації його розігнати, точно так само, як людина, що балансує мітлою, нахиляє її, щоб пройти з нею через кімнату. Ця симуляція реалізує це як каскадне керування — фіксований зовнішній контур перетворює похибку позиції візка на невеликий заданий нахил (обмежений приблизно 8°), а PID-контур кута, який ви налаштовуєте, потім відстежує цей нахил замість фіксованого нуля. Саме тому сильне зміщення повзунка заданої позиції за слабких коефіцієнтів саме по собі може спричинити падіння — це та сама, складніша задача керування з двома цілями, з якою стикаються реальні сегвеї та посадкові модулі ракет.

Штовхнути → та Штовхнути ← застосовують миттєвий поштовх до кутової швидкості маятника θ̇, той самий ефект, що й реальний поштовх поблизу верхівки маятника. Чи придушить його регулятор, повністю залежить від поточних коефіцієнтів і розміру поштовху відносно межі сили приводу ±22 Н — добре налаштований контур поглинає його й повертається до вертикалі, тоді як слабкий або погано налаштований не встигає створити достатньої коригувальної сили вчасно, і маятник падає, точно так, як диктує справжня, немодифікована фізика.

Це одна з найпростіших систем, що є одночасно нелінійною, недоприводною (один мотор, два ступені свободи) і по-справжньому нестійкою, що робить її стандартним стрес-тестом як для класичного керування (PID, простір станів/LQR, розміщення полюсів), так і для сучасного навчання з підкріпленням, де «CartPole» — одне з перших середовищ, на якому перевіряється майже кожен RL-алгоритм. Обмеження рейки та кута відмови в цій симуляції перегукуються з оригінальною формулюванням Барто-Саттона-Андерсона 1983 року (±2,4 м, ±12°), хоча тут візуальний поріг відмови встановлено трохи ширшим, щоб ви могли справді спостерігати падіння, а не миттєве завершення випробування.