🎯 Inverses Pendel: Das klassische Regelungsproblem

Ein freies Pendel hat ein stabiles Gleichgewicht, wenn es gerade nach unten hängt (θ = 180°): Stößt man es an, zieht die Schwerkraft es zurück. Der aufrechte Punkt des Cart-Pole-Systems (θ = 0°) ist die entgegengesetzte Art von Fixpunkt — die realen nichtlinearen Gleichungen balancieren dort theoretisch (das Nettodrehmoment ist null), aber jeder noch so kleine Stoß wächst an, statt kleiner zu werden, weil das rückstellende Drehmoment der Schwerkraft nahe θ = 0 auf die Stange in die Richtung wirkt, die die Neigung vergrößert, nicht in die Richtung, die sie korrigiert. Das ist die Lehrbuchdefinition eines instabilen Gleichgewichts, und deshalb braucht diese Simulation einen aktiven Regler, der bei jedem Bild läuft — schalte ihn aus (stelle alle Verstärkungen auf 0), und die Stange fällt sofort, ganz ohne Anstoß.

Diese Simulation integriert numerisch die standardmäßigen gekoppelten Cart-Pole-ODEs (nach Sutton, Barto & Anderson, 1983, mit hinzugefügter Reibung): θ̈ = [g·sinθ − cosθ·((F + m·l·θ̇²·sinθ − b·ẋ)/(M+m)) − c·θ̇/(m·l)] / [l·(4/3 − m·cos²θ/(M+m))], und ẍ = [F + m·l·(θ̇²·sinθ − θ̈·cosθ) − b·ẋ] / (M+m), wobei M die Wagenmasse, m die Stangenmasse, l die halbe Länge der Stange, F die angewandte Wagenkraft und b, c kleine viskose Reibungsterme sind. Diese werden mit einem festen kleinen Zeitschritt bei jedem Bild gelöst — nichts am Fall oder an der Erholung ist vorab animiert.

Linearisiert man die obigen Gleichungen nahe θ = 0, zeigt sich, dass die geschlossene Schleife erst stabil ist, sobald Kp g·(M + Wagenmasse) übersteigt, für die Massen dieses Aufbaus etwa 19–20 N/rad — unterhalb dieser Schwelle überwiegt das destabilisierende Drehmoment der Schwerkraft die proportionale Korrektur, und die Stange fällt, zunächst langsam und dann rasch, ganz gleich, wie sie gestartet ist. Diese Schwelle ist eine reale, ableitbare Eigenschaft genau dieses Systems, keine eingestellte Konstante, weshalb die Voreinstellung Schwache Verstärkung (Kp deutlich darunter) zuverlässig einen langsamen, echten Balanceverlust zeigt.

Übermäßige Proportionalverstärkung überreagiert auf kleine Winkelfehler, schießt über die Korrektur hinaus und regt Schwingungen an; übermäßige Differentialverstärkung verstärkt den Winkelgeschwindigkeitsterm so aggressiv, dass der Aktuator wiederholt bei ±22 N sättigt und die Regelkraft zwischen ihren Grenzen zu flattern beginnt. Beide Fehlerarten sind direkt in dieser Simulation sichtbar: Beobachte, wie der Kraftpfeil flackert und der Wagen hin- und herzittert, während die Schwingung wächst, bis die Stange über den Punkt der Erholung hinauskippt — ein reales Beispiel für den klassischen Zielkonflikt bei der PID-Abstimmung zwischen Reaktionsfähigkeit und Stabilität.

Balancieren und Umpositionieren sind bei einem echten Cart-Pole-System gekoppelt: Um den Wagen zu bewegen, musst du zunächst die Stange leicht in Bewegungsrichtung neigen und die Schwerkraft sie beschleunigen lassen, genau wie eine Person, die einen Besenstiel balanciert und ihn neigt, um ihn durch einen Raum zu tragen. Diese Simulation implementiert das als Kaskadenregelung — eine feste äußere Schleife wandelt den Wagenpositionsfehler in eine kleine befohlene Neigung um (begrenzt auf etwa 8°), und die einstellbare Winkel-PID-Schleife verfolgt dann diese Neigung statt einer festen Null. Deshalb kann das weite Verschieben des Sollwertreglers bei schwachen Verstärkungen selbst einen Fall verursachen — dasselbe schwierigere Zwei-Ziel-Regelungsproblem, dem echte Segways und Raketenlander gegenüberstehen.

Anstoßen → und Anstoßen ← wenden einen augenblicklichen Ruck auf die Winkelgeschwindigkeit θ̇ der Stange an, denselben Effekt, den ein echter Stoß nahe der Spitze der Stange hätte. Ob der Regler ihn abfängt, hängt vollständig von den aktuellen Verstärkungen und der Größe des Rucks im Verhältnis zur 22-N-Kraftgrenze des Aktuators ab — eine gut abgestimmte Schleife absorbiert ihn und kehrt zur Vertikalen zurück, während eine schwache oder schlecht abgestimmte Schleife nicht rechtzeitig genug Korrekturkraft erzeugen kann und die Stange fällt, genau wie es die echte, unveränderte Physik vorschreibt.

Es ist eines der einfachsten Systeme, das gleichzeitig nichtlinear, unteraktuiert (ein Motor, zwei Freiheitsgrade) und wirklich instabil ist, was es zu einem Standard-Stresstest sowohl für klassische Regelung (PID, Zustandsraum/LQR, Polplatzierung) als auch modernes Verstärkungslernen macht, wo „CartPole“ eine der ersten Umgebungen ist, an denen fast jeder RL-Algorithmus benchmarkt wird. Die Schienenendanschläge und die Winkelversagensgrenze in dieser Simulation spiegeln die ursprüngliche Formulierung von Barto–Sutton–Anderson aus dem Jahr 1983 (±2,4 m, ±12°) wider, wobei die visuelle Versagensschwelle hier etwas weiter gesetzt ist, damit du den Fall tatsächlich beobachten kannst, statt dass der Versuch sofort endet.