Robotyka dwudziustonoszowa: Koordynacja sztucznej inteligencji

Bimanual Manipulacja z Koordynacją Przez Inteligencję Wirtualną Percepcja, Planowanie i Kontrola

Bimanualna manipulacja – zdolność ludzi (oraz coraz częściej roboczych agentów) do skutecznej wykorzystania obu rąk razem – reprezentuje istotny frontier w robotyce. Ta dziedzina badawcza zajmuje się złożonymi wyzwaniami związane z koordynacją dwóch ramion do osiągania skomplikowanych zadań, takich jak montaż obiektów, przygotowanie jedzenia lub wykonanie delikatnych napraw.

Niedawnie doszły do niej postępy wykorzystujące Inteligencję Wirtualną (AI) do rewolucjonizacji tego obszaru. Zaczynamy widzieć systemy AI, które łączą percepcję (używając czujników do zrozumienia środowiska i właściwości obiektów), planowanie (określanie sekwencji działań), koordynację (zarządzanie ruchami obu rąk w czasie rzeczywistym) oraz kontrolę (wykonanie tych działań z precyzją).

Na podstawie swojej natury, bimanualna manipulacja opiera się na czterocyfrowym podejściu:

**Percepcja** zaczyna się od zbierania danych. Robocze systemy wykorzystują kombinację czujników – głównie kamery RGB-D (np. Intel RealSense lub Microsoft Kinect) – do tworzenia bogatego reprezentacji 3D środowiska. Te kamery capturują zarówno informacje o kolorach, jak i głębokości, co pozwala roboczy systemowi „widzieć” obiekty w odniesieniu do kształtu, wielkości i pozycji.

Zasobniejsze systemy włączają również czujniki dotykowe wbudowane w dłoń roboczą – na przykład ręka Shadow Hand opracowana przez Stanford Research Institute (SRI) wykorzystuje 24 niezależnie sterowanych akuatorów pneumatycznych, które mogą podobnieć się do palców ludzkich, dostarczając kluczowe informacje dotyczące sił kontaktowych i tekstury powierzchni. To jest istotne dla delikatnej manipulacji, w której jedynie „widzenie” nie wystarcza.

Modely uczenia się głębokiego, szczególnie Sieci Neuronowe Konwolucyjne (CNN)

Dodatkowo, techniki Simultaneous Localization and Mapping (SLAM) są modyfikowane tak, aby służyły do użycia dwuosobowego. Zamiast opierać się na lokalizacji wewnętrzną pojedynczego robota, te systemy wykorzystują dane z obu rąk, aby jednocześnie tworzyć trójwymiarowy model środowiska i śledzić swoje pozycje w tym modelu.

Robot Boston Dynamics Spot, choć nie jest tradycyjnie zaprojektowany do manipulacji, coraz częściej integruje funkcjonalności SLAM poprzez percepcję sterowaną przez uczenie maszynowe, co pozwala mu nawigować w skomplikowanych przestrzeniach i potencjalnie koordynować się z innymi ramionami roboczymi.

Często zadawane pytania