🦾 Prosthetic Limb Machine Learning Intent Recognition

Поверхнева електроміографія — вхідний канал наміру руху

Кожен довільний рух кінцівки починається з електричного імпульсу — потенціалу дії рухової одиниці, що поширюється від мотонейрона спинного мозку до м'язового волокна. У людини з ампутацією ці сигнали в залишкових м'язах кукси зберігаються навіть тоді, коли самої кінцівки вже немає. Масив поверхневих електродів (sEMG) реєструє суму цих потенціалів як складний, зашумлений, але інформаційно багатий електричний малюнок — сировину, з якої система машинного навчання відновлює намір користувача.

• 1–2 кГц: Частота дискретизації (на канал sEMG)
• 6–16: Типова кількість каналів (електродів у гнізді)
• 10–5000 мкВ: Амплітуда сигналу (до підсилення)
• 20–450 Гц: Смуга пропускання фільтра (корисний діапазон EMG)

Звідки береться сигнал у людини після ампутації

При трансрадіальній або трансгумеральній ампутації хірург по можливості зберігає або цільово переспрямовує (targeted muscle reinnervation, TMR) нерви, що раніше керували кистю та пальцями, до збережених м'язів кукси. Коли пацієнт подумки «стискає кулак», ті самі мотонейрони активуються, як і до ампутації — просто тепер вони скорочують м'яз передпліччя чи плеча замість відсутньої кисті.

Ця електрична активність — сума потенціалів дії рухових одиниць (MUAP) — реєструється парою поверхневих електродів, розміщених над черевцем м'яза. Сигнал підсилюється (коефіцієнт 1000–10000×), фільтрується смуговим фільтром 20–450 Гц для відсікання руху артефактів і мережевої завади 50/60 Гц, після чого оцифровується аналого-цифровим перетворювачем.

У гнізді сучасного міоелектричного протеза розміщують від 6 до 16 сухих або гелевих електродів по колу кукси, що дозволяє реєструвати просторовий малюнок активації різних м'язових груп — це критично важливо для розрізнення схожих жестів, наприклад стиску кисті й обхоплення циліндра.

Амплітуда сирого sEMG-сигналу становить лише 10–5000 мікровольт — у мільйон разів слабша за побутову електромережу. Будь-який рух кабелю, піт чи зміщення електрода на 1–2 мм може змінити записаний малюнок сильніше, ніж сама зміна наміру руху.

Мультимодальна сенсорна фузія: EMG + IMU + FMG

Самого лише sEMG часто недостатньо для надійного розпізнавання наміру в реальних умовах — сигнал дрейфує, забруднюється потом, змінюється при різних положеннях руки. Сучасні системи поєднують кілька джерел даних:

• sEMG (електрична активність м'язів) — основне джерело намірів руху, частота 1–2 кГц • IMU (інерціальний вимірювальний блок: акселерометр + гіроскоп) — визначає орієнтацію кукси в просторі, компенсує «ефект положення руки», коли той самий жест дає різний EMG-малюнок залежно від кута ліктя чи плеча • FMG / A-mode ультразвук (force myography) — реєструє механічну деформацію м'яза, менш чутливий до поту й провідності шкіри, ніж електричний sEMG • Датчики тиску в гнізді протеза — виявляють залишковий рух кукси всередині сокета

Сенсорна фузія (типово через конкатенацію ознак або окремі гілки нейромережі, що з'єднуються перед класифікатором) підвищує точність розпізнавання на 4–9 відсоткових пунктів порівняно з самим лише EMG, особливо при змінних положеннях руки та в динамічних сценаріях повсякденного життя.

Проблема нестаціонарності сигналу

На відміну від лабораторних умов, у реальному житті sEMG-сигнал постійно змінюється:

• Втома м'яза: після кількох хвилин активного використання спектр сигналу зсувається до нижчих частот, амплітуда змінюється • Піт та зміна імпедансу шкіри: провідність шкіри-електрода коливається протягом дня, особливо влітку чи під час фізичного навантаження • Зміщення електрода: щоденне знімання/надягання протеза зсуває електроди на 2–5 мм відносно вчорашньої позиції • Коактивація м'язів: одночасне скорочення м'язів-антагоністів при втомі спотворює патерн, який бачила модель під час навчання

Саме ця нестаціонарність — головна причина, чому статичні класифікатори, натреновані один раз у клініці, деградують до неприйнятної точності протягом тижнів. Це мотивує етап 5 — онлайн-адаптацію.

Сегментація вікна та інженерія ознак

Сирий потік sEMG — це просто хвиляста лінія напруги, у якій нейромережа напряму «не бачить» жест. Перш ніж подати сигнал у класифікатор, його розбивають на короткі ковзні вікна та перетворюють у компактний вектор ознак, що стискає сотні відліків у кілька десятків чисел, які добре розділяють класи рухів.

• 150–250 мс: Розмір вікна (типовий) (компроміс латентність/точність)
• 25–50 мс: Крок ковзного вікна (перекриття вікон)
• ~6: Ознак часового домену (RMS, MAV, ZC, SSC, WL, WAMP)
• <300 мс: Поріг сприйнятої затримки (межа комфорту користувача)

Вибір розміру аналітичного вікна

Розмір вікна аналізу — головний компроміс усієї системи розпізнавання наміру:

• Коротке вікно (50–100 мс): низька затримка, рух відчувається майже миттєвим, але мало відліків для стійкої статистики → нижча точність класифікації, чутливість до шуму • Довге вікно (200–300 мс): більше даних → вища точність і стабільність передбачення, але користувач відчуває затримку між наміром і рухом протеза, що порушує відчуття «втіленості» кінцівки • Клінічний консенсус (Englehart & Hudgins, 2003 та подальші роботи): загальна затримка декодування не повинна перевищувати 300 мс, інакше користувачі суб'єктивно оцінюють протез як «повільний» і «неприродний», навіть при високій точності

Багато сучасних систем використовують вікна 150–200 мс з кроком 25–50 мс (перекриття 75–85%), що дає оновлення передбачення кожні кілька десятків мілісекунд при прийнятній обчислювальній вартості на вбудованому мікроконтролері протеза.

Дослідження показують: користувачі толерують затримку системи до ~300 мс без суб'єктивного відчуття «неприродності», але кожні додаткові 100 мс затримки вимірювано знижують функціональну швидкість виконання побутових задач (тест Box-and-Block, Clothespin test).

Класичні ознаки часового та частотного домену

Для кожного вікна кожного EMG-каналу обчислюється набір ознак — компактний «відбиток» м'язової активності:

Часовий домен (обчислювально дешевий, підходить для вбудованих систем): • MAV (mean absolute value) — середнє абсолютне значення амплітуди • RMS (root mean square) — енергія сигналу у вікні • ZC (zero crossings) — кількість перетинів нуля, корелює з частотним вмістом • SSC (slope sign changes) — кількість змін знаку нахилу сигналу • WL (waveform length) — сумарна довжина кривої сигналу, відображає складність • WAMP (Willison amplitude) — кількість разів, коли різниця сусідніх відліків перевищує поріг

Частотний домен (потребує більше обчислень, FFT або вейвлет-перетворення): • Медіанна та середня частота спектра потужності — зсуваються при втомі м'яза • Вейвлет-коефіцієнти (DWT) — стійкі до нестаціонарності краще за Фур'є-ознаки

Типовий вектор ознак для 8-канальної системи: 8 каналів × 6 ознак часового домену = 48-вимірний вектор, що подається у класифікатор кожні 25–50 мс.

Від ручних ознак до навчених представлень

Класичний конвеєр (ознаки → LDA/SVM) поступається місцем наскрізному глибокому навчанню, де згорткова мережа сама вчиться корисних представлень напряму із сирого чи мінімально обробленого сигналу:

• Ручні ознаки + класичний класифікатор (LDA, SVM): швидко, інтерпретовано, потребує мало даних для навчання, але «стеля» точності обмежена якістю вручну підібраних ознак • 1D-CNN на сирому вікні sEMG: згорткові фільтри першого шару самі вивчають детектори патернів, еквівалентні частотним фільтрам, але оптимізовані під конкретного користувача • Спектрограма/скалограма + 2D-CNN: сигнал перетворюється у зображення часо-частотного розподілу, до якого застосовують архітектури комп'ютерного зору • Гібридна CNN-LSTM: згорткові шари витягують локальні просторово-часові ознаки з багатоканального вікна, а рекурентний шар (LSTM/GRU) моделює динаміку переходу між жестами протягом кількох послідовних вікон

На практиці CNN-LSTM гібриди сьогодні дають найкращий баланс точності (94–97%) і робастності до нестаціонарності сигналу порівняно з класичними ознаками (88–92%).

Порівняння алгоритмів класифікації наміру руху

Класифікація наміру: від вектора ознак до розподілу ймовірностей

У серці системи лежить нейронна мережа, натренована на розмічених прикладах, коли користувач свідомо виконував і утримував певний жест, поки система записувала EMG. На етапі використання мережа приймає вектор ознак поточного вікна й видає розподіл ймовірностей — наскільки сигнал схожий на кожен із вивчених класів руху, — після чого обирається клас із найвищою ймовірністю або застосовується поріг впевненості.

• 92–98%: Типова точність (лаб. умови) (8-12 класів жестів)
• ~50–200 тис.: Параметрів компактної CNN (для вбудованого чипа)
• <15 мс: Інференс на мікроконтролері (на ARM Cortex-M7/M4)
• >70%: Поріг впевненості (rejection) (інакше клас «без дії»)

Архітектура: від вектора ознак до ймовірності класу

Типова компактна архітектура для вбудованого протеза виглядає так:

1. Вхідний шар: вектор ознак (~48–128 вимірів) або сире багатоканальне вікно (8 каналів × N відліків) 2. Згорткові блоки (1–3 шари): кожен блок = Conv1D + BatchNorm + ReLU + MaxPooling, поступово стискає часовий вимір, розширює кількість каналів ознак 3. Рекурентний шар (опціонально, LSTM або GRU, 32–128 прихованих одиниць): моделює короткочасну динаміку між послідовними вікнами, корисно для розрізнення схожих статичних поз через траєкторію переходу 4. Повнозв'язні шари: стискають ознаки до розмірності кількості класів жестів (типово 6–12) 5. Softmax-вихід: перетворює необроблені логіти на розподіл ймовірностей, що сумується до 1.0 по всіх класах

Навчання відбувається офлайн на розміченому наборі (crossentropy-втрата, Adam-оптимізатор), після чого мережа квантизується (float32 → int8) і компілюється під вбудований мікроконтролер протеза, щоб інференс займав одиниці мілісекунд при мінімальному енергоспоживанні.

Компактні квантизовані CNN здатні виконувати повний прохід інференсу за 5–15 мс на мікроконтролерах класу ARM Cortex-M7, споживаючи менше 10 мВт — це дозволяє протезу працювати цілий день від невеликого літій-полімерного акумулятора без відчутного нагріву.

Дискретна класифікація проти неперервної регресії

Існує два фундаментально різних підходи до декодування наміру:

Дискретна класифікація (pattern recognition): • Мережа обирає один з N наперед визначених класів жестів (стиск, розтиск, пронація тощо) • Простіше навчати, потребує менше розмічених даних • Обмеження: рух виконується «або-або» на повній швидкості — немає плавного, пропорційного контролю сили чи амплітуди • Перехід між жестами може виглядати різким і неприродним

Неперервна регресія (proportional control): • Мережа передбачає безперервний вектор команд (наприклад, кут згинання кожного суглоба, силу стиску) замість дискретного класу • Дозволяє пропорційне керування: слабке скорочення м'яза → повільний/легкий рух, сильне скорочення → швидкий/потужний рух — так само, як природна кінцівка • Складніше навчати: потребує безперервно розмічених даних (наприклад, синхронний запис EMG зі здоровою кінцівкою під час дзеркального руху)

Сучасні комерційні протези (наприклад, системи на основі патерн-розпізнавання Coapt, Ottobock) здебільшого використовують дискретну класифікацію для перемикання «режимів руки», а всередині режиму — пропорційне керування амплітудою на основі загальної інтенсивності EMG.

Обробка невпевненості та відхилення хибних спрацювань

Жодна модель не досягає 100% точності в реальному житті, тому критично важливий механізм відхилення непевних передбачень:

• Поріг впевненості: якщо максимальна ймовірність softmax-виходу нижче порогу (типово 60–75%), система не виконує жоден рух і зберігає попередній стан — краще «нічого не робити», ніж виконати неправильний рух • Клас «спокій» (rest/no-movement) явно включається як окремий клас навчання, щоб мережа навчилася розпізнавати відсутність наміру, а не завжди щось «вгадувати» • Часове згладжування (majority vote / експоненційне згладжування ймовірностей за останні 3–5 вікон) зменшує тремтіння передбачення (jitter) між сусідніми класами • Гістерезис перемикання: щоб перейти в новий клас, система вимагає кількох послідовних узгоджених передбачень поспіль, запобігаючи випадковим одиничним спалахам класифікації

Ці механізми жертвують кількома мілісекундами додаткової затримки заради значного зниження хибних спрацювань — критично важливо, коли протез керує гострими інструментами чи важкими предметами.

Одночасне пропорційне керування кількома ступенями свободи

Природна рука виконує рухи кисті, зап'ястя й пальців одночасно та плавно — стиск кулака супроводжується легкою пронацією передпліччя, а щипок двома пальцями відбувається під час обертання зап'ястя. Класичні протези з дискретним перемиканням жестів змушують користувача виконувати рухи послідовно, один суглоб за раз. Сучасні системи з одночасним багатоDOF декодуванням наближають керування протезом до природної координації.

• 1–3: DOF комерційних протезів (типово 2020-х рр.)
• до 6–10: DOF дослідницьких систем (лабораторні прототипи)
• +4–9 п.п.: Приріст точності від фузії IMU (проти самого sEMG)
• 2–6 тижнів: Час навчання користувача (до впевненого побутового використання)

Від послідовного до паралельного декодування

Ранні міоелектричні протези використовували просту логіку «два канали — два рухи»: скорочення м'яза-згинача відкриває кисть, м'яза-розгинача — закриває. Для керування додатковими суглобами (зап'ястя, окремі пальці) користувач мав здійснювати спеціальний коспортовий жест-«перемикач» (наприклад, коспортове одночасне скорочення обох м'язів), щоб перейти в інший режим — повільно й неприродно.

Сучасні регресійні моделі декодують кілька безперервних вихідних змінних одночасно з одного вектора ознак: кут згинання кисті, кут пронації/супінації зап'ястя, ступінь стиснення щипка — все обчислюється паралельно тим самим проходом мережі, без явного перемикання режимів.

Архітектурно це реалізується як багатовихідна голова регресії поверх спільного ознакового екстрактора: спільні згорткові шари вивчають загальні патерни EMG, а окремі невеликі повнозв'язні голови передбачають кожен ступінь свободи незалежно, дозволяючи мережі природно моделювати кореляції між суглобами, які спостерігаються в тренувальних даних здорового руху.

Роль сенсорної фузії у стабільності багатоDOF керування

Одночасне керування кількома суглобами значно чутливіше до артефактів «положення руки» (limb-position effect), ніж дискретна класифікація: той самий EMG-патерн стиску кисті виглядає по-різному, коли рука витягнута вперед чи піднята над головою, через зміну навантаження та кута м'язів.

Додавання IMU-даних (орієнтація кукси в просторі) як додаткового входу дозволяє мережі «розв'язати» цю неоднозначність — регресор навчається компенсувати вплив пози руки на амплітуду EMG, суттєво стабілізуючи вихідні команди при рухах у різних напрямках і положеннях.

Дослідження функціональних клінічних випробувань показують, що фузія sEMG+IMU знижує кількість «зривів» пропорційного керування (раптових стрибків команди) на 30–45% порівняно з системами на основі лише EMG, особливо у динамічних побутових задачах — піднесення чашки до рота, дотягування до полиці.

У лабораторних дослідженнях декодування 4-DOF (кисть + зап'ястя пронація/супінація + згинання/розгинання зап'ястя) досягнуто одночасної кореляції передбачення з наміром до r≈0.85–0.92 при використанні комбінованого CNN-регресора на EMG+IMU даних.

Компроміс між гнучкістю та когнітивним навантаженням користувача

Збільшення кількості одночасно керованих ступенів свободи не завжди покращує суб'єктивний досвід користування протезом:

• Більше DOF = більша функціональна гнучкість, але й більше можливостей для помилкової класифікації та вищі вимоги до якості сигналу • Дослідження показують «плато корисності»: для більшості завдань повсякденного життя 3–4 незалежно керовані ступені свободи (стиск/розтиск кисті, пронація/супінація зап'ястя, іноді окреме керування великим пальцем) покривають понад 90% функціональних потреб • Надлишкова складність системи (7-10 DOF) корисна переважно для дослідницьких завдань точного маніпулювання об'єктами та для протезів вищого класу з окремим приводом на кожен палець • Клінічно важливий показник — не максимальна теоретична точність окремого класифікатора, а функціональний результат у стандартизованих тестах (Box-and-Block Test, Southampton Hand Assessment Procedure, Clothespin Relocation Test)

Баланс між кількістю ступенів свободи, часом навчання користувача та надійністю в реальних умовах — центральне інженерне рішення при проєктуванні кожної конкретної системи протезування.

Онлайн-навчання, адаптивна рекалібрація та виконання руху в реальному часі

Модель, ідеально натренована в клініці за один сеанс, неминуче деградує протягом тижнів реального використання через зміщення електродів, втому м'язів, зміну погоди та навіть зміну ваги тіла користувача. Сучасні системи розпізнавання наміру включають механізми безперервного донавчання просто «на льоту» (online adaptive learning), що дозволяють протезу підлаштовуватися під користувача, а не навпаки.

• −15–25 п.п.: Деградація точності без адаптації (протягом 4–8 тижнів)
• +12–20 п.п.: Відновлена точність з адаптацією (після 1 сеансу докалібрування)
• кожні 1–7 днів: Частота фонового донавчання (або за запитом користувача)
• 20–40 мс: Латентність виконавчого приводу (від команди до руху мотора)

Чому статична модель деградує з часом

Класифікатор, натренований один раз у клінічних умовах, стикається з поступовим «дрейфом розподілу» (distribution shift) вхідних даних відносно навчальної вибірки:

• Фізіологічний дрейф: зміна товщини підшкірного жиру, набряк, зміна тонусу м'яза протягом дня і з часом після операції (особливо у перші місяці реабілітації, коли відбувається активна нейром'язова перебудова кукси) • Механічний дрейф: щоденне надягання протеза ніколи не відтворює позицію електродів ідентично; зношування електродних контактів; зміна щільності прилягання сокета • Поведінковий дрейф: користувач із часом виконує «еталонні» жести з трохи іншою інтенсивністю чи технікою, ніж під час початкового калібрування • Контекстний дрейф: різні задачі (важкий предмет проти легкого) викликають різну коактивацію м'язів навіть для «того самого» наміру руху

Без механізму адаптації типова система втрачає 15–25 відсоткових пунктів точності класифікації протягом 4–8 тижнів щоденного використання — саме тому ранні комерційні системи розпізнавання патернів мали репутацію «ненадійних» і вимагали частих візитів до протезиста для повторного калібрування.

Стратегії онлайн-адаптивного донавчання

Сучасні дослідницькі та клінічні системи застосовують кілька взаємодоповнюючих підходів:

• Періодичне докалібрування з підказкою (supervised recalibration): раз на кілька днів користувач виконує коротку (1–2 хв) процедуру повторення еталонних жестів, на яких модель донавчається (transfer learning: заморожуються ранні шари, донавчаються лише останні) • Неявна самоадаптація без міток (unsupervised domain adaptation): система відстежує статистичний розподіл вхідних ознак і безперервно підлаштовує внутрішню нормалізацію та межі рішення без явного втручання користувача, спираючись на припущення про стабільність розподілу класів • Активне навчання з відгуком користувача (active/reinforcement learning): якщо користувач негайно коригує чи скасовує виконаний рух (наприклад, через кнопку відкату або протилежний жест), цей сигнал використовується як негативний приклад для донавчання наступного разу • Federated / on-device fine-tuning: невелика частина мережі (останні шари) донавчається безпосередньо на вбудованому чипі протеза без передачі сирих біометричних даних на сервер, що важливо для приватності медичних даних

Комбінація періодичного докалібрування раз на кілька днів з неявною безперервною адаптацією на кожному кроці інференсу дає найкращі довгострокові результати в польових дослідженнях тривалістю кілька місяців.

У довгострокових польових дослідженнях (Hargrove et al. та подальші роботи) системи з активною онлайн-адаптацією зберігали точність класифікації в межах 3–5 п.п. від початкового рівня протягом 6+ місяців використання, тоді як статичні моделі без адаптації втрачали до чверті точності вже за перші два місяці.

Від передбачення до фізичного руху: виконавчий контур

Останній крок перетворює вихід нейромережі на реальний фізичний рух протеза:

1. Передбачений клас або вектор регресії передається у контролер приводів (типово вбудований мікроконтролер із ШІМ-керуванням безщітковими двигунами постійного струму) 2. Профіль руху згладжується (traj planning) — миттєвий стрибок команди перетворюється на плавну траєкторію швидкості/положення, щоб уникнути ривків 3. Датчики зворотного зв'язку на самому протезі (енкодери положення пальців, тензодатчики сили стиснення) забезпечують локальний контур керування із зворотним зв'язком (закон керування PID або імпедансний контроль), незалежний від класифікатора наміру — це гарантує, наприклад, що захоплення крихкого предмета не розчавить його навіть при помилковій команді «максимальна сила» 4. Тактильний зворотний зв'язок (вібромотори, електротактильна стимуляція шкіри кукси) інформує користувача про досягнуту силу стиснення чи положення суглоба, замикаючи сенсомоторний контур і частково компенсуючи втрачену пропріоцепцію

Повний цикл від зміни EMG-сигналу до видимого початку руху приводу в сучасних дослідницьких системах займає 90–130 мс — досить швидко, щоб суб'єктивно сприйматися як майже миттєва відповідь, наближаючи функціональний досвід до природної кінцівки.

Клінічний і функціональний підсумок

Поєднання багатоканальної сенсорної фузії, глибоких нейромережевих класифікаторів/регресорів, порогів впевненості, багатоDOF пропорційного керування та безперервної онлайн-адаптації формує повний конвеєр сучасного інтелектуального протезування кінцівок:

• Клінічні дослідження показують приріст функціональних показників (Box-and-Block Test, часу виконання побутових задач) на 20–40% при переході від традиційних двоканальних протезів до систем розпізнавання патернів на основі глибокого навчання • Суб'єктивна задоволеність користувачів корелює сильніше з надійністю та передбачуваністю системи, ніж із теоретичною максимальною точністю класифікатора в лабораторних умовах • Основні напрями подальшого розвитку: імплантовані інтрафасцикулярні електроди для стабільнішого сигналу, периферійна нервова інтерфейсна стимуляція для відновлення відчуття дотику, а також мультимодальні трансформерні архітектури, що об'єднують EMG, IMU та відеодані з камери протеза для контекстно-залежного розпізнавання наміру (наприклад, автоматична адаптація сили захоплення залежно від розпізнаного типу об'єкта)