Класифікація поверхневого ЕМГ-сигналу передпліччя для розпізнавання патернів хвату та керування бионічною кистю в реальному часі
Кожен рух кисті починається з електричного імпульсу мотонейрона, що змушує м'язове волокно скорочуватися. Ця біоелектрична активність — електроміограма (ЕМГ) — залишається вимірюваною на культі навіть після ампутації, адже залишкові м'язи передпліччя чи плеча продовжують отримувати нервові команди "стиснути кулак" або "розкрити долоню", хоча самої кисті вже немає.
Під час скорочення м'яза кожна рухова одиниця (мотонейрон + іннервовані ним волокна) генерує потенціал дії, що поширюється вздовж мембрани волокна. Сума тисяч таких потенціалів дії, зареєстрована електродами на шкірі, і є поверхневою ЕМГ (сЕМГ).
У пацієнтів з трансрадіальною (нижче ліктя) ампутацією зазвичай зберігаються залишки м'язів-згиначів (flexor digitorum superficialis/profundus) та м'язів-розгиначів (extensor digitorum) пальців. Хоча самих пальців немає, нервова система продовжує посилати команди руху — і саме ці залишкові скорочення й зчитуються електродами.
В пацієнтів з трансгумеральною (вище ліктя) ампутацією джерела сигналу бракує — тут застосовується цільова реіннервація м'язів (TMR, targeted muscle reinnervation): нерви, що раніше керували кистю, хірургічно пересаджуються в грудні або плечові м'язи, які потім стають "динаміками" для втраченого руху.
Метод TMR (Kuiken et al., 2004–2009) дозволяє одному пацієнту керувати одночасно кількома ступенями свободи протеза, розпізнаючи до 6 незалежних патернів скорочення реіннервованих м'язів — замість 1–2 каналів у класичній ампутації.
Електроди розміщуються білатерально симетрично навколо культі, з міжелектродною відстанню ~20 мм, орієнтованими вздовж напрямку м'язових волокон. Кожен канал — диференціальна пара: два контакти + спільний референс, що дозволяє відняти синфазний шум (мережеву наводку 50/60 Гц, рух кабелів) і залишити лише різницевий біопотенціал.
Типова комерційна система (наприклад Ottobock MyoBock 13E200, Coapt Complete Control) використовує 6–16 сухих електродів, вбудованих у гільзу протеза (socket), що постійно контактують зі шкірою культі без гелю.
Основні джерела артефактів: • Зсув електрода відносно м'яза при потінні або зміні пози руки — знижує точність класифікації на 10–15% протягом дня • Втома м'яза — зсуває спектр сигналу в бік нижчих частот • Кросток (crosstalk) від сусідніх м'язів — особливо проблематичний при тонких культях • Рухові артефакти від кабелів чи гільзи протеза
Перш ніж сигнал потрапляє в АЦП, він проходить аналоговий тракт:
1. Попереднє підсилення (×1000–10000) безпосередньо біля електрода — мінімізує вплив шуму кабелю 2. Смуговий фільтр 20–450 Гц — відсікає рухові артефакти (<20 Гц) і високочастотний шум/аліasing (>450 Гц) 3. Режекторний фільтр 50/60 Гц — придушує мережеву наводку 4. Дискретизація 12–16-біт АЦП на частоті 1–4 кГц
Отриманий цифровий потік — це необроблений часовий ряд напруги, у якому корисна інформація про намір руху захована в статистичних властивостях сигналу, а не у формі окремого імпульсу. Саме тому наступний крок конвеєра — видобування ознак — є критичним.
Сирий ЕМГ-сигнал сам по собі — це шумоподібний часовий ряд, з якого важко напряму розпізнати намір руху. Конвеєр розпізнавання патернів (pattern recognition) перетворює кожне коротке вікно сигналу на компактний числовий вектор ознак, що стискає інформацію про амплітуду, частоту та форму сигналу до кількох чисел на канал.
Набір з чотирьох ознак, запропонований Hudgins et al. (1993), лишається базовим стандартом промислових систем через мінімальну обчислювальну вартість:
• MAV (Mean Absolute Value) — середнє абсолютне значення сигналу у вікні; груба оцінка рівня активації м'яза • RMS (Root Mean Square) — середньоквадратичне значення; пов'язане з силою скорочення та фізіологічно ближче до реальної активації рухових одиниць, ніж MAV • ZC (Zero Crossings) — кількість перетинів нульового рівня; корелює з домінантною частотою сигналу • WL (Waveform Length) — сумарна довжина кривої сигналу у вікні; чутлива і до амплітуди, і до частоти одночасно • SSC (Slope Sign Changes) — кількість змін знаку нахилу сигналу; додаткова частотна характеристика • VAR (Variance) — дисперсія сигналу, еквівалентна RMS² без нормування
Для 8 каналів × 6 ознак отримуємо 48-вимірний вектор ознак кожні 50 мс — компактне представлення, придатне для класифікатора реального часу.
Комбінація MAV + ZC + WL + SSC (класичний "Hudgins feature set") у поєднанні з LDA-класифікатором залишається основою більшості комерційних протезів через обчислювальну простоту — вектор ознак і класифікація виконуються за <1 мс на восьмибітному мікроконтролері.
Розмір аналітичного вікна безпосередньо впливає на баланс "точність проти швидкодії":
• Занадто коротке вікно (<100 мс): недостатньо циклів сигналу для стабільної статистичної оцінки → шумні, нестабільні ознаки → нижча точність класифікації • Занадто довге вікно (>300 мс): згладжує швидкі зміни наміру руху → користувач відчуває затримку відгуку протеза, що заважає природному керуванню • Психофізичний поріг сприйняття затримки в керуванні кінцівкою становить ~300 мс — вище цього значення користувачі повідомляють про відчуття "запізнення" протеза
Оптимум, підтверджений у клінічних дослідженнях (Englehart & Hudgins, 2003), — вікно 200 мс з кроком (інкрементом) 50–100 мс, що дає загальну затримку конвеєра обробки ~150–200 мс, залишаючись у межах комфортного сприйняття.
Окрім часових ознак, для складніших класифікаторів (SVM, CNN) застосовуються додаткові представлення:
• Частотні ознаки: медіанна частота спектра потужності, середня частота, співвідношення низько-/високочастотної енергії — чутливі до втоми м'яза • Часо-частотний аналіз: вейвлет-перетворення (Wavelet Packet Transform) розкладає сигнал на під-смуги, зберігаючи як часову, так і частотну інформацію • Ознаки часової залежності (Time-Dependent Power Spectrum, TDPSD) — сучасний стандарт з високою розрізняльною здатністю • Сирі спектрограми як вхід для згорткової нейромережі (CNN) — мережа сама навчається оптимальних ознак замість ручного проектування (feature engineering)
Глибинні моделі (CNN, LSTM), треновані на наборах даних на кшталт Ninapro (>50 суб'єктів, >50 жестів), демонструють на 3–6 в.п. вищу точність за класичні ознаки + LDA, ціною більшої обчислювальної вартості та потреби у GPU/NPU для роботи в реальному часі.
ЕМГ-сигнал є глибоко індивідуальним: товщина підшкірного жиру, розташування залишкових м'язів, стан культі після ампутації — все це унікальне для кожного пацієнта. Тому класифікатор не постачається "готовим", а навчається заново під час короткої сесії калібрування безпосередньо з даними конкретного користувача.
Сесія калібрування проходить за структурованим протоколом:
1. Пацієнт бачить на екрані підказку — зображення або анімацію цільового жесту ("стисніть у кулак", "щипок великим та вказівним") 2. Виконує та утримує уявний рух (при відсутній кисті — уявне "фантомне" скорочення відповідних м'язів) протягом 3–5 секунд 3. Система записує безперервний ЕМГ-потік з міткою класу для всього інтервалу 4. Процедура повторюється 10–15 разів на кожен із 7–12 жестів у випадковому порядку, щоб уникнути ефекту втоми чи звикання 5. Дані розбиваються на тренувальну (70–80%) та валідаційну (20–30%) вибірки для оцінки узагальнювальної здатності моделі
Загальний обсяг: при 8 каналах, вікні 200 мс і кроці 50 мс кожне 4-секундне повторення дає ~70 векторів ознак — тобто до 900–1000 навчальних прикладів на клас.
Лінійний дискримінантний аналіз (LDA) шукає лінійні гіперплощини, що максимально розділяють класи у просторі ознак, мінімізуючи внутрішньокласову дисперсію відносно міжкласової. Через свою лінійність LDA навчається за мілісекунди на портативному мікроконтролері і залишається промисловим стандартом (Coapt, Ottobock) завдяки передбачуваності та стійкості до перенавчання при малих вибірках.
Опорні вектори (SVM) з ядром RBF будують нелінійні межі рішення, здатні вловлювати складніші взаємозв'язки між ознаками різних каналів, підвищуючи точність на 2–4 в.п. відносно LDA — ціною вищих обчислювальних витрат і потреби ретельного підбору гіперпараметрів (C, γ).
Згорткові нейромережі (CNN), треновані безпосередньо на сирих або мінімально оброблених спектрограмах ЕМГ, автоматично видобувають ієрархічні ознаки та досягають найвищої точності (>97%) на великих наборах даних, але вимагають десятків тисяч прикладів, апаратного прискорення (NPU в протезі) та ретельної регуляризації, щоб не перенавчитися на індивідуальні артефакти сесії калібрування.
Дослідження Ninapro DB (Atzori et al.) показало: різниця в точності між LDA (~89%) та глибокою CNN (~98%) стає клінічно значущою лише при 10+ класах жестів — для базових 5–7 патернів LDA залишається практично рівноцінним за точністю, але на порядок швидшим і енергоефективнішим варіантом для вбудованих систем.
Класифікатор, навчений сьогодні, поступово втрачає точність протягом днів і тижнів через:
• Електродний дрейф — незначне зміщення позиції гільзи протеза відносно шкіри між надяганнями • Фізіологічні зміни — набряк/атрофія культі, зміна пітливості, температури шкіри • М'язову втому впродовж дня використання
Це явище відоме як "confidence-based" деградація моделі. Сучасні системи вирішують проблему кількома шляхами:
1. Періодичне коротке домалювання (5–7 повторень щотижня) з інкрементальним донавчанням без повного скидання моделі 2. Адаптивні алгоритми (LDA з ковзним оновленням середніх класів, self-recalibration) — модель тихо підлаштовується під зсув розподілу ознак без явної участі користувача 3. Ансамблеві класифікатори, стійкі до варіативності одного каналу — при відмові чи зсуві одного електрода інші канали компенсують втрату інформації
Клінічно прийнятним вважається інтервал 2–6 місяців між повними переналаштуваннями системи для стабільного щоденного користувача.
| Product | Indication | Trial Design | Key Result |
|---|---|---|---|
| LDA (лінійний) | ~92% при 7 класах | Лінійні межі рішення, аналітичне рішення без ітерацій | Навчання <10 мс, працює на 8-біт МК, промисловий стандарт |
| SVM (ядро RBF) | ~95% при 7 класах | Нелінійні межі, максимізація зазору між класами | Вища точність за LDA, помірна обчислювальна вартість |
| CNN (глибоке навчання) | ~97–98% при 7 класах | Автоматичне видобування ієрархічних ознак з сирого сигналу | Найвища точність, масштабується до 15+ класів жестів |
Після навчання система працює в безперервному циклі "ковзне вікно → ознаки → класифікація" з частотою оновлення рішення 10–20 разів на секунду. Кожні 50–100 мс алгоритм видає ймовірнісний розподіл по всіх класах хвату, і патерн із найвищою ймовірністю (за умови перевищення порогу впевненості) передається на виконавчий контролер протеза.
Комерційні мультиартикульовані протези (Ottobock Michelangelo, Össur i-Limb, Psyonic Ability Hand) підтримують набір функціональних хватів, що покривають більшість побутових задач:
• Силовий хват (power grip) — усі пальці охоплюють об'єкт циліндричної форми (пляшка, ручка інструмента) • Щипковий хват (precision pinch) — великий і вказівний пальці утримують дрібний об'єкт (монета, ключ) • Триподний хват (tripod/3-jaw chuck) — великий, вказівний і середній пальці; для об'єктів середнього розміру (склянка, яблуко) • Ключовий хват (lateral/key grip) — великий палець притискає об'єкт збоку до вказівного; для плоских предметів (картка, ключ) • Вказівний палець окремо (index point) — для набору номера, натискання кнопок • Пронація/супінація зап'ястя — обертання кисті для орієнтації об'єкта без зміни хвату
Кожен патерн — окремий вихідний клас класифікатора, якому відповідає власна кінематична послідовність рухів сервоприводів.
Пряме застосування "сирого" рішення класифікатора на кожному вікні призводить до тремтливих, нестабільних перемикань хвату через шум сигналу. Для стабілізації застосовуються:
• Мажоритарне голосування (majority voting) — фінальне рішення приймається за результатом останніх 3–5 послідовних класифікацій, а не одного вікна • Поріг впевненості (confidence threshold) — якщо максимальна ймовірність класу нижче ~70%, система утримує попередній стан замість перемикання • Мінімальна тривалість утримання (dwell time) — новий клас має "перемогти" протягом щонайменше 100–150 мс поспіль, перш ніж активується • Клас "спокій" (rest) як обов'язковий базовий стан — знижує кількість хибних спрацювань під час невимушених рухів руки
Ці механізми знижують частоту хибних перемикань хвату на 60–80% ціною додаткової затримки ~50–100 мс.
Клінічно прийнятною вважається сумарна затримка "намір → видима реакція протеза" до 300 мс. Вище цього порогу користувачі повідомляють про втрату відчуття "втіленості" (embodiment) протеза як частини власного тіла.
Окрім вибору класу хвату, амплітуда ЕМГ (RMS/MAV) в реальному часі використовується як безперервний пропорційний сигнал:
• Слабке скорочення м'яза → повільне змикання пальців, невелика кінцева сила захвату • Сильне скорочення (ближче до максимального довільного скорочення, MVC) → швидке змикання, максимальна сила захвату (типово до 60–100 Н на палець у сучасних моделях)
Це поєднання "дискретна класифікація патерну + безперервне пропорційне керування амплітудою" відтворює природний біологічний принцип: мозок обирає, який рух виконати, а сила скорочення м'яза визначає, наскільки енергійно цей рух виконується.
Деякі системи (наприклад Coapt Complete Control у поєднанні з сумісними протезами) дозволяють одночасне пропорційне керування двома ступенями свободи (наприклад хват + обертання зап'ястя) через розпізнавання комбінованих патернів ко-скорочення (co-contraction) різних груп м'язів.
Класифікований намір руху перетворюється на фізичну дію: мікроконтролер протеза транслює рішення в керуючі сигнали для 5–10 незалежних сервоприводів пальців. Найсучасніші системи замикають контур керування, повертаючи тактильну інформацію про силу захвату назад на шкіру передпліччя — наближаючи взаємодію з протезом до природного відчуття власної кінцівки.
Контролер протеза зберігає бібліотеку кінематичних траєкторій — заздалегідь визначену послідовність кутів згинання для кожного суглоба пальця, що відповідає обраному класу хвату. Отримавши мітку класу від класифікатора, контролер:
1. Інтерполює поточне положення пальців до цільової конфігурації хвату протягом 100–200 мс 2. Модулює швидкість руху та кінцеву силу пропорційно до амплітуди ЕМГ (RMS) 3. Використовує вбудовані тензодатчики або датчики струму двигуна для визначення моменту контакту з об'єктом (autograsp) — і зупиняє змикання пальців, не даючи роздавити крихкий предмет 4. При стабільному утриманні знижує споживання струму до мінімуму, підтримуючи силу хвату без перегріву приводу
Кожен палець зазвичай приводиться в рух окремим мініатюрним лінійним або обертовим двигуном постійного струму з редуктором, що дозволяє незалежне керування до 10 ступенями свободи одночасно.
Природна кисть постійно надсилає в мозок інформацію про тиск, температуру та положення пальців. Протез позбавлений цього каналу за замовчуванням — користувач керує "наосліп", покладаючись лише на зір. Сенсорний зворотний зв'язок частково відновлює цей контур:
• Вібротактильний зворотний зв'язок — мініатюрні вібромотори на культі кодують силу захвату частотою чи амплітудою вібрації • Електротактильна стимуляція — слабкі електричні імпульси на шкірі культі, що масштабуються пропорційно тиску сенсорів кисті • Периферійні нервові інтерфейси (наприклад Regenerative Peripheral Nerve Interface, RPNI, або imTBI-електроди) — пряма стимуляція периферійних нервів, що відновлює квазі-природне відчуття дотику й навіть положення пальців (проприоцепцію)
Клінічні дослідження показують, що додавання зворотного зв'язку про силу захвату знижує ймовірність роздавлення крихких об'єктів на 50% і суб'єктивно підвищує відчуття "втіленості" протеза як частини тіла.
У пілотних дослідженнях із хронічними периферійними нервовими інтерфейсами пацієнти повідомляли про здатність розрізняти текстуру та м'якість об'єктів із заплющеними очима, а фантомний біль у деяких випадках знижувався на 50–70% завдяки відновленому сенсомоторному контуру.
Сучасні системи розпізнавання патернів ЕМГ у реальних умовах повсякденного використання (а не лише в лабораторії) досягають дещо нижчої точності, ніж у контрольованих випробуваннях — 80–92% замість 95%+ — через рухові артефакти, зміну пози руки та зовнішні перешкоди. Це один із головних напрямків активних досліджень.
Основні напрямки вдосконалення:
• Position/limb-position-aware моделі — навчання класифікатора одразу в кількох положеннях руки, а не лише сидячи за столом, суттєво підвищує стійкість до реальних умов • Мультимодальне злиття даних — поєднання ЕМГ з даними акселерометра/гіроскопа (IMU) та ультразвуковою міографією (sMMG) для компенсації недоліків кожного окремого сенсора • Осеоінтеграція (остеоінтегровані імпланти, наприклад система e-OPRA) — жорстке кріплення протеза безпосередньо до кістки культі, що усуває проблему зсуву гільзи й підвищує механічну передачу сили • Неінвазивні високощільні ЕМГ-масиви (HD-sEMG, 64–256 електродів) дозволяють декомпозицію сигналів окремих рухових одиниць (motor unit decomposition) для потенційно ще точнішого й швидшого керування
За даними опитувань користувачів мультиартикульованих протезів з розпізнаванням патернів, рівень задоволеності (за шкалою System Usability Scale) становить у середньому 75–82 з 100 — вище, ніж у протезів із простим двоканальним керуванням "відкрити/закрити" (60–68), але все ще нижче за природну кисть.