Nauczanie maszyn: uczenie się robotów do interakcji z światem fizycznym

Nauczanie poparcia dla robotów

Nauczanie poparcia (RL): agent uczy się poprzez próbę i błąd interakcji z środowiskiem. Szkielet MDP: stanów S, działań A, przejścia T, nagród R, diskaontu γ. Funkcja wartości V(s): oczekiwana sumaryczna nagroda od stanu s. Funkcja Q(s,a): oczekiwana nagroda z podjęcia działania a w stanie s. Metody gradientowe polityki: REINFORCE, PPO (Proksymalne optymizowanie polityki), SAC (Ladny aktor-krytyk). Nauczanie poparcia głębokiego: sieci neuronowe aproksymują funkcje polityki/wartości. Wyzwania dla robotyki: niewystarczająca efektywność próbek (potrzeba milionów interakcji), bezpieczeństwo podczas eksploracji, formułowanie nagród (rzadkie nagrody), różnica między symulacją a rzeczywistością. Sukcesy: dexterous manipulacja (Rubik's cube OpenAI), czteropyłowe ruchomictwo (ANYmal), wyścig dronów.

Nauka przez imitację

Nauka z demonstrowania (LfD): ekspert dostarcza trajektorii, a robot uczy się ich powtórzenia. Klonowanie zachowania (BC): nauczanie nadzorowane na pary stan-dział — proste, ale cierpi pod wpływem błędu zagnieżdżonego. DAgger (Zbior danych agregacji): interaktywnie pyta eksperta o poprawienie błędów. Odwrotna nauka przez programowanie (Inverse RL): wywnioskowanie funkcji nagród na podstawie zachowania eksperta. GAIL (Generatywny antagonista imitacji uczenia): dyskryminator rozróżnia eksperta od nauczonego zachowania. Polityka rozszerzania: generowanie działań przy użyciu procesu rozszerzającego zanieczyszczenie — najnowsze dla manipulacji. ACT (Chunking akcji z transformatorami): przewidywanie sekwencji działań, obsługuje zachowania wielomodalne. Teleoperacja: sterowniki VR, urządzenia haptyczne lub roboty prowadzące-następujące dla zbierania demonstrowań.

Przenoszenie z symulacji do rzeczywistości

Trening w symulacji: bezpieczny, szybki, paralelizowalny (tysiące środowisk jednocześnie). Symulatorzy fizyczne: MuJoCo, Isaac Sim (NVIDIA), PyBullet, Gazebo. Zmienne domenowe: zmiana parametrów symulacji (friction, masa, oświetlenie, tekstury) → zasady odpornościowe. Identyfikacja systemu: pomiary parametrów rzeczywistego świata do kalibracji symulacji. Adaptacja domeny: wyrównanie rozkładów symulacji i rzeczywistej rzeczywistości. Progressywny trening: coraz bardziej realistyczne symulacje. Sukcesy przenoszenia z symulacji do rzeczywistości: kierowanie czteropędem (MIT Mini Cheetah), dexterous manipulation (NVIDIA Eureka), jazda samochodów bezczelnych (symulator CARLA). Wyzwania w brzegu rzeczywistości: dynamika kontaktowa, deformowalne obiekty, interakcje z cieczą, manipulacja drapaczkami lub sznurami.

Podstawowe modele dla robotyki

Modely widzenia, języka i akcji: łączenie percepncji, zrozumienia języka i fizycznych działań. RT-2 (Google DeepMind): model VLM wygenerowuje bezpośrednio działania robota na podstawie obrazów i instrukcji językowych. Octo: otwarta źródłowa polityka generalistyczna robota treningu na 800 tysiącach epizodów z Open X-Embodiment. π₀ (Fizyczna Inteligencja): podstawowy model do manipulacji z ponad 10 tysiącami demonstracji. SayCan: LLM zaproponowuje działania, a funkcje dostępowe przekładają je w zdolności robota. Code as Policies: LLM generują kod Pythona kontrolujący interfejsy API robota. CLIP/SigLIP: reprezentacje wizualne do rozpoznawania obiektów bezwzględnie w robotyce. Wyzwania: przestrzeń odniesienia (różne modele robocze), planowanie na długoterminowe horizonty, gwarancje bezpieczeństwa, inferencja w czasie rzeczywistym.

Zastosowania i przyszłość

Przemysł: robocie kooperacyjne (cobots) — Universal Robots, Franka Emika — elastyczna montaż i podnoszenie. Składniki magazynowe: Amazon Sparrow, Covariant — wybieranie z pudełek z różnorodnymi obiektami. Rolnictwo: zbieranie owoców (Agrobot), uszczelkowanie (Farming Revolution), roboty automatyczne na rolniczych maszynach. Zdrowie: robocie chirurgiczne (da Vinci, ~7000 zainstalowanych), ekzoskelety rehabilitacyjne. Robocie domowe: Figure 01/02 (cyfrowi), 1X NEO (zadania domowe). Samochody automatyczne: Waymo (ponad 4M mil tylko dla pasażerów), Cruise, Nuro dostawy. Przyszłość: robocie humanoidzne ogólnopułapkowe, koordynacja w tłumach, elastyczna robotyka do delikatnej manipulacji, eksploracja podwodna.

Spróbuj to na żywo

Wszystko powyżej działa w Twoim przegladarce — otwórz Inverse Kinematykę (FABRIK) i zmieniaj parametry podczas jego działania. Nie ma nic do zainstalowania, nie jest wysyłana żadna informacja, cała modelizacja istnieje w jednym okienku.

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Inverse Kinematics (FABRIK) i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.