🔴 Autonomous Robotic Surgery Skill Transfer Training

Демонстрація хірургом: запис навички як даних

Реальна дистанційна хірургія в реальному часі неможлива за межами низької навколоземної орбіти: затримка сигналу Земля–Марс становить від 3 до 22 хвилин в один бік залежно від орбітальної конфігурації, тобто до 44 хвилин на цикл «команда–відповідь». Тому єдиний шлях забезпечити хірургічну допомогу під час місії — заздалегідь передати навичку роботу у вигляді натренованої моделі, а не керувати ним наживо.

• 3–22 хв: Затримка сигналу Земля–Марс (в один бік, залежно від фази орбіт)
• >8 500: Встановлених систем da Vinci (клінік у світі (Intuitive Surgical))
• 50–200: Демонстрацій для базової навички (типовий обсяг датасету LfD)
• <0.1 мм: Точність запису руху інструмента (кінематика dVRK / da Vinci API)

Чому неможлива пряма телеоперація на Марс

Класична роботизована хірургія (da Vinci, dVRK) базується на телеприсутності: хірург рухає джойстиками в консолі, а робот-пацієнт відтворює рухи з мілісекундною затримкою. Це працює лише коли оператор і пацієнт розділені щонайбільше кількома тисячами кілометрів (наземна телехірургія, операції на кораблях, віддалених станціях).

Марс перебуває на відстані від 54.6 до 401 млн км від Землі. Світлу — а отже й будь-якому радіосигналу — потрібно від 3 до 22 хвилин, щоб подолати цю відстань в один бік. Двобічний цикл «хірург побачив кадр → надіслав команду → отримав підтвердження» займає від 6 до 44 хвилин. За цей час пацієнт зі, наприклад, апендицитом чи внутрішньою кровотечею може загинути.

Висновок, до якого прийшли NASA, ESA та дослідницькі групи з хірургічної робототехніки: єдиний практичний підхід — перенести саму хірургічну навичку на борт корабля у вигляді автономної моделі, натренованої на Землі, а не намагатися керувати роботом дистанційно під час операції.

NASA Human Research Program та проєкти на кшталт MIT Virtual Interactive Presence виокремлюють «медичну автономію» як один із критичних пробілів (gap) для місій за межі низької навколоземної орбіти — разом з автономною діагностикою та фармакологічною підтримкою.

Захоплення траєкторії хірурга як навчальних даних

Процес починається так само, як тренування будь-якої політики імітаційного навчання: людина-експерт виконує задачу багато разів, а система записує повний стан.

Що саме фіксується під час демонстрації: • Кінематика інструмента — позиція та орієнтація кінчика (6 ступенів свободи) з частотою 50–100 Гц через енкодери консолі da Vinci / dVRK • Сили та моменти — тактильний зворотний зв'язок від датчиків на щипцях (для процедур, де важливий контроль сили стиснення тканини) • Відеопотік — стереоскопічна ендоскопічна камера, синхронізована з кінематичними даними кадр-у-кадр • Дискретні події — відкриття/закриття інструмента, зміна інструмента, педальні команди (коагуляція, зшивання)

Ці потоки утворюють траєкторію τ = {(s₀,a₀), (s₁,a₁), ..., (sₜ,aₜ)} — послідовність пар «стан сцени → дія хірурга». Саме ці пари є навчальними прикладами для політики, яку вирощуватимуть на наступному етапі.

Чому потрібні саме десятки-сотні демонстрацій

На відміну від класичних задач комп'ютерного зору, де датасети налічують мільйони прикладів, хірургічне імітаційне навчання оперує набагато меншими обсягами — 50–200 демонстрацій однієї процедури вважається робочим мінімумом для вузького, добре визначеного завдання (наприклад, накладання одного шва).

Це можливо завдяки: • Високій інформаційній щільності кожної демонстрації — 6-DOF кінематика на 50-100 Гц дає тисячі точок трактрії з однієї 2-хвилинної демонстрації • Структурованості задачі — хірургічні підзадачі (шов, розсічення, коагуляція) мають обмежену варіативність порівняно з відкритим світом • Аугментації даних — записані траєкторії доповнюють синтетичними варіаціями положення тканини, освітлення, шуму сенсорів

Але обсяг має ціну: складніші багатоетапні процедури (лапароскопічна резекція, анастомоз кишківника) вимагають на порядок більше демонстрацій і довших сесій запису, ніж прості точкові маніпуляції.

Learning from Demonstration: від траєкторій до політики

Learning from Demonstration (LfD), також відоме як імітаційне навчання (imitation learning), перетворює записані людські демонстрації на обчислювану політику π(a|s) — функцію, що відображає стан сцени на дію робота. У хірургічній робототехніці ключові архітектури — це Behavior Cloning, Action Chunking Transformer (ACT) та дифузійні політики (Diffusion Policy), які останніми роками показали різкий стрибок якості автономного виконання дрібномоторних задач.

• Behavior Cloning: Метод базового рівня (нагляданий регресійний imitation learning)
• ACT / Diffusion Policy: Сучасна архітектура (transformer- та дифузійні політики, 2023–2024)
• >60%: Точність відтворення STAR (кращі показники за ручну лапароскопію (Sci. Robotics, 2022))
• 10–50 Гц: Частота інференсу політики (типова для замкнутого контуру керування)

Архітектура політики та задача навчання

Політика π_θ(a|s) — нейромережа з параметрами θ, яка на вході отримує поточний стан сцени s (зображення з ендоскопа, положення інструмента, іноді сили) і видає дію a (наступний рух кінчика інструмента, розкриття щипців).

Behavior Cloning (базовий підхід): мінімізує похибку між передбаченою дією та дією хірурга з датасету — по суті, це нагляданий регресійний метод. Простий, але вразливий до накопичення помилки (distributional shift): щойно робот відхиляється від траєкторій датасету, він потрапляє в стани, яких політика ніколи не бачила.

Action Chunking Transformer (ACT, Zhao et al. 2023): передбачає не одну дію, а «фрагмент» (chunk) із 50–100 майбутніх дій одночасно, використовуючи трансформер-кодувальник/декодувальник. Це різко зменшує накопичення похибки й дозволяє системі опановувати дрібномоторні задачі (заправка нитки в голку, зав'язування вузлів) із набагато меншою кількістю демонстрацій, ніж класичний BC.

Diffusion Policy (Chi et al. 2023): моделює розподіл дій через ітеративну дифузійну денойзинг-процедуру, що дає змогу представляти багатомодальні стратегії (коли існує кілька однаково правильних способів виконати рух) — саме такий випадок часто трапляється в хірургії, де немає єдиного «правильного» кута підходу.

Дослідники Johns Hopkins (STAR — Smart Tissue Autonomous Robot) продемонстрували у Science Robotics (2022), що автономний робот з навченою політикою на кишковому анастомозі свині перевершив ручну лапароскопію, робот-асистовану та відкриту хірургію за рівномірністю відстані між швами.

Розподільний зсув і проблема накопичення похибки

Головна пастка чистого імітаційного навчання — «розподільний зсув» (distributional shift, або compounding error). Політика навчена лише на станах, які відвідав експерт. Щойно робот робить крихітну помилку і потрапляє у стан поза навчальним розподілом, політика не знає, що робити далі — і помилка наростає лавиноподібно.

Стратегії пом'якшення: • DAgger (Dataset Aggregation) — під час тренування політику запускають, а експерт мітить правильні дії саме в тих станах, куди вона сама заблукала, розширюючи датасет проблемними прикладами • Стохастичне збурення демонстрацій — до записаних траєкторій додають контрольований шум, змушуючи політику вчитися «повертатися на курс» • Обмеження горизонту дії (action chunking) — коротші, частіше оновлювані фрагменти дій зменшують час, за який похибка встигає накопичитися

Для хірургічних задач із високою ціною помилки (пошкодження тканини) ці методи є не опціональними, а обов'язковими компонентами тренувального конвеєра.

Мультимодальні входи: зір, кінематика, сила

Сучасні хірургічні політики поєднують кілька модальностей сенсорних даних у єдиному латентному просторі:

• Візуальний енкодер (ResNet / ViT) стискає стерео-ендоскопічний кадр у компактний вектор ознак, що описує положення тканини, інструментів, орієнтирів • Пропріоцептивний вхід — поточна поза інструмента (кінематика) подається напряму, без стиснення, бо вона вже низьковимірна й точна • Тактильний вхід (за наявності) — сила стиснення щипців, критична для процедур, де надмірний тиск ушкоджує тканину

Об'єднаний вектор ознак подається у трансформер або дифузійну голову, яка передбачає наступний блок дій. Саме мультимодальність — а не лише відео — відрізняє сучасні хірургічні policy-моделі від простих vision-only імітаторів.

Симуляційна практика: мільйони повторів без ризику для пацієнта

Перш ніж політика отримає доступ до реальної тканини — тим паче тканини астронавта за мільйони кілометрів від Землі — вона мільйони разів відпрацьовує процедуру у фізичному симуляторі. Платформи на кшталт ORBIT-Surgical, SurRoL та dVRK-симулятора дозволяють прискорити час і паралелізувати практику на кластерах GPU, виявляючи крайові випадки, недосяжні під час обмеженої кількості людських демонстрацій.

• 10⁴–10⁶: Симуляційних епізодів практики (типовий обсяг перед розгортанням)
• >100×: Прискорення часу симуляції (відносно реального часу на кластері GPU)
• <1 мм: Ціль позиційної точності (субміліметрова точність кінчика інструмента)
• 10–30%: Sim-to-real розрив (типовий) (падіння успішності при переносі в реальність)

Навіщо потрібна симуляція, якщо вже є демонстрації хірурга

Демонстрацій хірурга (50–200) достатньо, щоб політика вивчила загальну форму задачі, але недостатньо, щоб покрити всі варіації, з якими робот може зіткнутися: інша анатомія пацієнта, зміщена тканина, незвичний кут підходу, часткова оклюзія камери.

Фізична симуляція (м'якотільна динаміка тканини на основі FEM або position-based dynamics, контактна фізика інструмента) дозволяє: • Згенерувати на порядки більше варіацій сцени, ніж будь-яка людська сесія запису могла б забезпечити • Прискорити час у сотні разів, запускаючи тисячі паралельних епізодів на кластері GPU • Безпечно довести систему до відмови — зафіксувати, за яких умов політика помиляється, і одразу дотренувати саме на цих випадках • Кількісно виміряти позиційну похибку, силу контакту з тканиною й час виконання без жодного ризику для живого організму

Уточнення політики: reinforcement fine-tuning поверх imitation learning

Чисте імітаційне навчання відтворює демонстрації, але не оптимізує явно щодо результату (чи зрослася тканина, чи є витік анастомозу). Тому після базового BC/ACT-тренування типово застосовують донавчання з підкріпленням (RL fine-tuning) у симуляторі:

1. Політика, ініціалізована вагами з LfD-етапу, продовжує тренуватися в симуляторі з функцією винагороди, що явно кодує хірургічні критерії якості (рівномірність кроку шва, мінімальна сила на тканину, час виконання) 2. Через мільйони епізодів градієнт політики зсуває поведінку в бік вищої нагороди, не втрачаючи стабільність, закладену імітаційним навчанням 3. Крива навчання відстежується метрикою позиційної точності кінчика інструмента (мм) — типова ціль для дрібної хірургічної маніпуляції: субміліметрова точність (<1 мм), а для мікрохірургічних застосувань — до 0.1–0.3 мм

Цей гібридний конвеєр «спочатку імітація, потім підкріплення» став стандартом де-факто в сучасній робототехніці маніпуляції — не лише в хірургії, а й у промисловому та побутовому захопленні об'єктів.

Sim-to-real розрив і доменна рандомізація

Політика, ідеально натренована в симуляції, зазвичай втрачає 10–30% успішності при першому перенесенні на реальне обладнання — явище, відоме як sim-to-real gap. Причини: спрощена модель тканини, ідеалізовані сенсори, відсутність шуму реальних приводів.

Стандартна протидія — доменна рандомізація (domain randomization): під час симуляційної практики систематично варіюють механічні властивості тканини (жорсткість, тертя), затримки приводів, шум камери й освітлення, змушуючи політику вивчати стійку, а не «перенавчену під ідеальний симулятор» поведінку.

Для марсіанської місії ця проблема подвоюється: політику неможливо дотренувати «на місці» методом проб і помилок на реальному пацієнті так, як це роблять на Землі з лабораторним обладнанням. Тому обсяг і різноманітність доменної рандомізації перед відправкою на борт — критичний фактор безпеки місії.

Перенесення моделі на борт: стиснення, канал, затримка

Натренована й валідована політика має бути «спакована» — квантизована, дистильована у меншу мережу-студента — і передана на борт корабля каналом із вкрай обмеженою пропускною здатністю та затримкою у хвилини. На відміну від хірурга, модель не потребує реального часу для передачі: достатньо надіслати її один раз до польоту або оновити під час місії низькочастотними сеансами зв'язку.

• ~1–6 Мбіт/с: Пропускна здатність Deep Space Network (типовий даунлінк для дальніх місій)
• 4–10×: Стиснення моделі (квантизація+дистиляція) (зменшення розміру без істотної втрати якості)
• 6–44 хв: Раунд-тріп затримки сигналу (Земля↔Марс залежно від орбітальної фази)
• обмежені: Вікна зв'язку DSN на добу (спільний ресурс кількох місій одночасно)

Чому пропускна здатність — не проблема реального часу, а проблема логістики

На відміну від відео-телеоперації, яка вимагала б безперервного потоку в реальному часі (неможливо через затримку), передача вже натренованої моделі — це задача одноразового або періодичного трансферу файлу. Модель у кілька сотень мегабайт до кількох гігабайт передається каналом Deep Space Network зі швидкістю порядку 1–6 Мбіт/с протягом виділеного сеансу зв'язку — це може зайняти від годин до діб, але не є критичним по часу, якщо зроблено завчасно, до потреби в операції.

Ключова відмінність від наземної телехірургії: тут відсутня вимога «зараз і миттєво» — модель можна підготувати й надіслати за тижні до того, як вона знадобиться, а потім лише періодично оновлювати вже на борту через доступні сеанси зв'язку.

Стиснення моделі: квантизація, обрізання, дистиляція

Щоб мінімізувати обсяг переданих даних і водночас забезпечити роботу на обмеженому бортовому обчислювальному модулі (без доступу до дата-центру), модель проходить кілька етапів стиснення:

• Квантизація — переведення ваг з 32-бітної точності floating point у 8-бітну ціле чи ще нижче (INT8/INT4), що зменшує розмір у 4 рази й пришвидшує інференс на бортовому чипі без значної втрати точності передбачень • Обрізання (pruning) — видалення надлишкових вагових зв'язків, які майже не впливають на вихід мережі • Дистиляція знань (knowledge distillation) — велика «вчительська» модель, натренована на Землі з усіма обчислювальними ресурсами, передає свою поведінку компактній «студентській» мережі, придатній для бортового заліза

Сукупно ці методи дають стиснення у 4–10 разів практично без деградації точності виконання завдання — критично важливо, коли кожен мегабайт і кожен ват бортового живлення на вагу золота.

Ключовий принцип інженерії місії: одноразовий трансфер натренованої моделі на землі-Марс каналі вимірюється годинами-добами і НЕ є вузьким місцем; вузьке місце — це доступність і планування самих сеансів зв'язку DSN, які поділяються між усіма активними місіями.

Періодичне дооновлення моделі під час польоту

Місія до Марса триває 6–9 місяців польоту плюс час перебування на поверхні — за цей час на Землі можуть з'явитися покращені версії політики (більше демонстрацій, виправлені крайові випадки). Тому архітектура передбачає не одноразове, а періодичне оновлення:

1. Наземна команда продовжує тренувати й валідувати оновлені версії політики на Землі впродовж усієї місії 2. У заплановані вікна зв'язку DSN дельта-оновлення ваг (а не вся модель заново) передаються на борт — це на порядок менші обсяги даних 3. Бортова система проводить власну регресійну перевірку в симуляторі на кораблі перед тим, як замінити активну версію політики 4. Стара версія зберігається як резервна на випадок, якщо нова версія покаже гіршу поведінку в бортовій симуляційній перевірці

Цей підхід дзеркалить практику OTA-оновлень (over-the-air) складного програмного забезпечення в авіації та автономних транспортних засобах, адаптовану під вкрай обмежений і дорогий канал зв'язку глибокого космосу.

Автономне виконання без нагляду Землі

У момент операції на борту марсіанського корабля робот діє повністю самостійно: жодна команда із Землі не встигне дійти вчасно. Безпека такого виконання забезпечується не «довірою» до моделі, а паралельним незалежним модулем детекції аномалій, здатним зупинити або передати керування резервному протоколу, щойно поведінка виходить за межі засвоєного розподілу.

• 0 хв: Час на людське втручання із Землі (фізично неможливе під час операції)
• >100 Гц: Частота моніторингу відхилень (паралельний контур детекції аномалій)
• >90%: Цільова успішність автономної процедури (орієнтир для вузьких, добре відпрацьованих задач)
• 8/8 анастомозів: Дослідження STAR (Science Robotics, 2022) (без ручного втручання, кишківник свині)

Архітектура безпеки: контур виконання + незалежний контур нагляду

Автономне виконання будується як два паралельні контури, а не один:

• Контур виконання — політика LfD/RL, натренована на Землі, керує рухами інструмента в реальному часі на основі поточного відеопотоку й кінематики • Контур нагляду (safety monitor) — окрема, навмисно простіша й консервативніша система, що не намагається виконати задачу, а лише перевіряє: чи перебуває поточний стан у межах розподілу, на якому політика була натренована й валідована

Коли монітор виявляє відхилення (аномальна сила контакту, непередбачена конфігурація тканини, розбіжність між очікуваним і фактичним станом), він може: призупинити рух, повернути інструмент у безпечну позицію, або передати керування на заздалегідь запрограмований консервативний резервний протокол (fallback), розроблений спільно з хірургами ще на Землі.

Цей дворівневий підхід — «зроби задачу» + «перевір, що ти в межах компетенції» — є прямим наслідком того, що людина не може втрутитися вчасно: система має сама розпізнавати межі власної надійності.

У пілотному дослідженні Smart Tissue Autonomous Robot (STAR, Johns Hopkins, Science Robotics 2022) робот автономно виконав анастомоз тонкого кишківника свині в усіх 8 випробуваннях без ручного втручання, показавши стабільніший інтервал між швами, ніж ручна лапароскопічна, робот-асистована чи відкрита хірургія — перший подібний результат для м'якої тканини.

Детекція аномалій: як система розпізнає «я не знаю, що робити»

Ключова технічна проблема автономії без нагляду — епістемічна невизначеність: модель повинна не просто діяти, а знати межі своєї компетентності.

Поширені підходи в дослідженнях хірургічної автономії:

• Ансамблі політик (ensemble disagreement) — кілька незалежно натренованих копій моделі оцінюють поточний стан; висока розбіжність між їхніми передбаченнями сигналізує про стан поза межами впевненого розподілу • Оцінка густини розподілу (out-of-distribution detection) — окрема модель оцінює, наскільки поточний візуальний/кінематичний стан схожий на states, бачені під час тренування; низька густина = високий ризик • Моніторинг сили контакту — жорсткі пороги на силу, що прикладається до тканини, незалежно від того, що «вважає правильним» основна політика — це остання лінія фізичного захисту тканини • Консистентність передбачення в часі — раптова, різка зміна передбаченої траєкторії дії між послідовними кадрами часто вказує на нестабільність моделі, а не на реальну зміну сцени

Об'єднана «впевненість автономії» (autonomy confidence) — метрика, що агрегує ці сигнали в єдиний показник, який визначає: продовжувати автономне виконання, уповільнитися, чи зупинитися й перейти на резервний протокол.

Ескалаційні протоколи та роль астронавта-непрофесіонала

Навіть найкраща автономна система проєктується з припущенням відмови. На борту місії до Марса поруч із пацієнтом, найімовірніше, перебуватиме астронавт без хірургічної кваліфікації, який виконує роль «медичного офіцера» за протоколом.

Багаторівнева ескалація типової архітектури безпеки: 1. Рівень 0 — штатне автономне виконання під наглядом safety-монітора 2. Рівень 1 — при першій ознаці аномалії: уповільнення, перехід на консервативніший підрежим руху, підвищена частота перевірок 3. Рівень 2 — за стійкого відхилення: пауза операції у безпечній позиції, покрокові голосові/візуальні інструкції для астронавта-немедика, підготовлені хірургами на Землі заздалегідь для найімовірніших сценаріїв ускладнень 4. Рівень 3 — критична відмова: перехід у ручний режим прямого механічного контролю (без автономії), керованого астронавтом за спрощеним інтерфейсом, розробленим саме для цього крайнього випадку

Ця ескалаційна модель — стандартна практика в авіаційній та космічній автономії (autonomy with graceful degradation), перенесена в хірургічний контекст, де ціна відмови вимірюється життям людини за мільйони кілометрів від найближчої допомоги.