Дистанційна сесія фізичної терапії через відеозв’язок: комп’ютерний зір для оцінки пози, носимі IMU/EMG-сенсори та ШІ-корекція техніки в реальному часі
Дистанційна фізична терапія (tele-rehabilitation) переносить сеанс реабілітації з клінічного кабінету в дім пацієнта, зберігаючи можливість живого спостереження терапевта. Основа сеансу — захищений відеоканал з малою затримкою та носимі інерціальні сенсори (IMU), що доповнюють картинку з камери даними про рух, недоступними оку.
Типова платформа дистанційної терапії складається з кількох компонентів, з’єднаних у реальному часі:
• Клієнт пацієнта: планшет або ноутбук із камерою (720p–1080p, 30 fps), додаток для калібрування простору та підключення сенсорів • Клієнт терапевта: робоча станція з подвійним екраном — відео пацієнта та панель метрик пози/сенсорів поруч • Сигнальний сервер WebRTC: узгоджує P2P-з’єднання (ICE/STUN/TURN), забезпечує наскрізне шифрування медіапотоку (DTLS-SRTP) • Крайовий (edge) сервер інференсу: у частини платформ модель оцінки пози виконується на пристрої пацієнта (on-device), у інших — потоково передається на найближчий edge-вузол для зниження затримки обчислень • Хмарне сховище сеансів: записи, метрики суглобових кутів та журнали сенсорів зберігаються для подальшого аналізу терапевтом і пацієнтом
Adaptive bitrate автоматично знижує роздільність відео при падінні пропускної здатності, зберігаючи пріоритет за кадровою частотою — це критично, бо модель оцінки пози чутливіша до частоти кадрів, ніж до чіткості картинки.
При RTT понад ~300 мс голосова корекція техніки починає відставати від реального руху пацієнта настільки, що втрачає клінічну цінність — платформи автоматично перемикаються у режим «запис + асинхронний розбір» замість живого фідбеку.
Кожен IMU-модуль містить 3-осьовий акселерометр, гіроскоп і часто магнетометр, що разом дають 9 ступенів свободи (9-DOF) орієнтації сегмента тіла:
• Розміщення: зап’ясток, гомілка (над кісточкою), поперек — три точки покривають більшість протоколів верхніх і нижніх кінцівок • Спарювання: Bluetooth Low Energy (BLE 5.0), автономність батареї ~8–12 годин безперервного стрімінгу • Калібрування нуля: пацієнт утримує позу спокою («T-поза» або стояння струнко) 3 секунди — система фіксує зміщення (bias) гіроскопа й акселерометра • Прив’язка до сегмента: короткий рух відомої амплітуди (наприклад, повне згинання ліктя) дозволяє алгоритму визначити вісь обертання сенсора відносно кістки
Без коректного калібрування похибка орієнтації сенсора накопичується (дрейф гіроскопа) — до 5–10° за хвилину без корекції. Тому надійні платформи поєднують IMU з періодичною корекцією за магнетометром або зʼєднують дані з камерою (див. Етап 4).
Сільські та важкодоступні домогосподарства часто мають нестабільне або обмежене підключення, тому платформа повинна деградувати передбачувано:
• Рівень 1 (норма): відео 720p@30fps + аудіо + потік IMU/EMG у реальному часі — повна функціональність • Рівень 2 (обмежена пропускна здатність): відео знижується до 360p@15fps, IMU-потік пріоритезується над відео (руху важливіші за чіткість картинки) • Рівень 3 (нестабільний канал): відео вимикається, залишається аудіо + IMU-телеметрія — терапевт орієнтується на графіки кутів суглобів замість картинки • Рівень 4 (офлайн): сесія записується локально на пристрої пацієнта та синхронізується пізніше; асинхронний розбір терапевтом протягом 24 годин
Така градація дозволяє утримувати клінічну цінність сеансу навіть за швидкості каналу нижче 500 кбіт/с — типового показника для деяких сільських LTE-з’єднань.
Перш ніж коригувати рух, система повинна його «побачити». Модель оцінки пози (pose estimation) перетворює звичайний відеопотік із веб-камери на скелет із десятків ключових точок тіла, а базове обстеження (baseline assessment) фіксує вихідну амплітуду рухів пацієнта — точку відліку для всього курсу терапії.
Сучасні системи монокулярної оцінки пози (на кшталт архітектур типу BlazePose/OpenPose) працюють у два етапи:
1. Детектор особи в кадрі: легка згорткова мережа локалізує обмежувальну рамку тіла та орієнтацію (портрет/анфас) 2. Регресія ключових точок: друга мережа передбачає координати (x, y, довіру) для ~33 точок — суглоби, кінчики пальців, контур обличчя 3. Оцінка глибини (z): для 3D-версії мережа додатково регресує відносну глибину кожної точки відносно стегна, використовуючи навчання на синтетичних 3D-даних і слабку перспективну геометрію монокулярної камери
Обчислення виконуються локально на пристрої пацієнта (on-device inference, ~15–25 мс на кадр на сучасному планшеті) — це і знижує затримку, і зберігає приватність, оскільки відео не обов’язково залишає пристрій у сирому вигляді для аналітики.
Монокулярна оцінка глибини поступається оптичним системам захоплення руху (маркерний mocap, золотий стандарт біомеханічних лабораторій) — але різниця в ±3–5° для більшості реабілітаційних протоколів клінічно прийнятна, тоді як вартість нижча у сотні разів.
Перед першим тренувальним блоком система проводить структуроване базове обстеження:
• Плечовий суглоб: згинання, відведення, зовнішня/внутрішня ротація — порівнюються з віковою нормою (наприклад, відведення плеча 150–180° у нормі) • Кульшовий і колінний суглоби: згинання при сидінні/стоянні, присідання з контрольованою глибиною • Постава та симетрія: порівняння лівої/правої сторони тіла в статичному положенні виявляє асиметрії, що можуть вказувати на компенсаторні патерни через біль • Функціональні тести: наприклад, «сядь-встань 5 разів» (5×STS) для оцінки сили нижніх кінцівок, час виконання порівнюється з нормативними таблицями
Базові дані зберігаються як індивідуальний еталон (baseline profile) — усі подальші сеанси оцінюються відносно прогресу саме цього пацієнта, а не лише абстрактної норми.
Монокулярна камера має системні обмеження, які важливо враховувати клінічно:
• Оклюзія: якщо частина тіла закрита одягом, меблями або виходить за кадр, точки екстраполюються моделлю з нижчою достовірністю • Перспективні спотворення: рух уздовж оптичної осі камери (до/від об’єктива) оцінюється гірше, ніж рух у площині кадру — протоколи вправ проєктуються так, щоб основний рух відбувався фронтально до камери • Освітлення: недостатнє або нерівномірне освітлення знижує довіру детекції точок; додаток підказує пацієнту оптимальне розташування щодо вікна/лампи перед стартом • Одяг і взуття: вільний одяг ускладнює локалізацію суглобів — рекомендується облягаючий одяг для нижніх кінцівок під час обстеження ROM
Саме ці обмеження мотивують додавання носимих IMU/EMG-сенсорів на Етапі 4 — вони не залежать від освітлення чи кута камери і дають прямий вимір прискорення та м’язової активності.
Головна клінічна цінність дистанційної терапії — не просто спостереження, а активна корекція техніки виконання вправи в момент руху, подібно до того, як терапевт у кабінеті поправляє поставу пацієнта рукою. Система порівнює поточну траєкторію суглобів з еталонною та повертає підказку до того, як неправильний патерн руху закріпиться.
Кожна вправа в бібліотеці протоколів має еталонну траєкторію кута суглоба в часі — записану сертифікованим терапевтом або згенеровану на основі клінічних норм ROM:
1. Поточний кут суглоба обчислюється з тривимірних координат ключових точок (наприклад, кут плече–лікоть–зап’ясток для відведення руки) 2. Траєкторія вирівнюється в часі з еталоном за допомогою динамічного часового викривлення (Dynamic Time Warping) — це дозволяє коректно порівнювати рухи різної швидкості виконання 3. Обчислюється миттєве відхилення (у градусах) і кумулятивна оцінка техніки за повторення (0–100%) 4. Якщо відхилення перевищує клінічний поріг (типово 8–12° залежно від суглоба), система генерує підказку
Підказки подаються у трьох каналах одночасно — терапевти зазначають, що мультимодальний фідбек (одразу два з трьох каналів) підвищує засвоюваність корекції на 20–30% порівняно з одним каналом: • Візуальний: контур-«привид» правильної пози накладається напівпрозоро на відео пацієнта • Аудіо: короткі голосові підказки («підніміть лікоть вище», «сповільніть темп») • Гаптичний: вібраційний сигнал на носимому сенсорі зап’ястка при значному відхиленні
Дослідження серій випадків показують, що фідбек із затримкою понад ~500 мс сприймається пацієнтом як «не пов’язаний» з поточним рухом і втрачає коригувальний ефект — тому платформи оптимізують весь конвеєр камера→модель→підказка під бюджет 300–400 мс.
Дистанційний формат вимагає окремих механізмів безпеки, яких не потребує очна терапія, де терапевт фізично поруч:
• Виявлення втрати рівноваги: раптова зміна вертикальної швидкості ключових точок тулуба понад пороговий рівень — тригер аварійної паузи вправи та голосового запиту стану пацієнта • Больовий прапорець: пацієнт може одним дотиком або голосовою командою «стоп, болить» миттєво зупинити протокол; подія логується з точним моментом у відео для розбору терапевтом • Обмеження амплітуди: для післяопераційних протоколів система жорстко обмежує максимальний кут руху та не дозволяє його перевищити навіть за бажанням пацієнта, попереджаючи звуковим сигналом • Резервний контакт терапевта: під час живого сеансу кнопка «покликати терапевта» відкриває пряме голосове з’єднання без розриву відео
Ці механізми — обов’язкова умова клінічної сертифікації телереабілітаційних платформ у більшості юрисдикцій.
Автоматизація живої корекції не усуває терапевта з процесу — вона змінює його роль:
• Живий нагляд: терапевт бачить панель метрик кількох пацієнтів одночасно (за розкладом групових слотів) і втручається голосом лише за потреби • Донавчання протоколу: якщо пацієнт систематично компенсує рух іншим суглобом (наприклад, піднімає плече замість чистого відведення руки), терапевт коригує еталонну траєкторію або поріг чутливості індивідуально • Прогресія навантаження: на основі оцінки техніки та амплітуди терапевт вручну або напівавтоматично підвищує складність наступного сеансу (більше повторень, опір, амплітуда) • Клінічне рішення завжди за людиною: автоматична підказка — допоміжний інструмент, фінальна інтерпретація прогресу і зміна плану лікування залишається за ліцензованим фахівцем
Камера бачить форму руху, але не бачить зусилля. Носимі інерціальні сенсори (IMU) вимірюють прискорення й обертання сегментів тіла напряму, а електроміографічні (EMG) електроди фіксують електричну активність м’язів. Об’єднання цих трьох джерел фільтром Калмана дає систему, стійкішу до оклюзій камери та здатну виявляти втому й компенсаторні патерни, невидимі оку.
Камера й IMU мають протилежні сильні та слабкі сторони, що робить їх ідеальними кандидатами для сенсорного злиття:
• Камера: точна в абсолютних координатах простору, але чутлива до оклюзій, освітлення і має затримку обробки кадру (~20–30 мс) • IMU: не залежить від освітлення чи оклюзії, дає дуже високу частоту оновлення (100–200 Гц), але схильний до дрейфу орієнтації з часом через накопичення похибки інтегрування
Фільтр Калмана (або його розширена/unscented версія для нелінійної кінематики суглобів) поєднує обидва джерела:
1. Крок передбачення: на основі попереднього стану та високочастотних даних IMU (кутова швидкість, прискорення) прогнозується поточна орієнтація сегмента 2. Крок корекції: коли надходить новий кадр камери (нижча частота, ~30 Гц), передбачення «підтягується» до виміряної позиції ключової точки, компенсуючи накопичений дрейф IMU 3. Результат: скелет із частотою оновлення IMU (плавний, без «стрибків» між кадрами камери) і точністю, прив’язаною до абсолютних координат камери
Це знижує сумарну похибку орієнтації суглоба з ±4–5° (лише камера) до ±1.5–2° (злиті дані) у типових умовах домашнього освітлення.
При тимчасовій втраті відео (наприклад, пацієнт вийшов з кадру на 1–2 секунди) система продовжує відстежувати рух виключно за IMU без переривання сеансу — це один із ключових аргументів на користь носимих сенсорів у домашніх умовах з непередбачуваним середовищем.
Поверхневі EMG-електроди, розміщені над цільовим м’язом (наприклад, дельтоподібним при відведенні плеча), фіксують електричний потенціал моторних одиниць:
• Сирий сигнал: смуга частот приблизно 20–450 Гц, потребує дискретизації близько 1000 Гц для коректного захоплення • Обробка: випрямлення сигналу → згладжування (RMS у вікні 100–200 мс) → нормалізація відносно максимального довільного скорочення (%MVC), виміряного при калібруванні • Виявлення втоми: під навантаженням медіанна частота спектра EMG-сигналу поступово зміщується в бік нижчих частот (spectral fatigue index) — це надійний непрямий маркер м’язової втоми, що випереджає суб’єктивне відчуття пацієнта • Виявлення компенсації: якщо активність цільового м’яза падає, а суміжного (компенсаторного) зростає при незмінному видимому русі, це сигнал терапевту про приховане підміну патерну руху
EMG особливо цінний у неврологічній реабілітації (постінсультна терапія, травми периферичних нервів), де саме активація конкретного м’яза — а не лише кінематика кінцівки — є мірою відновлення.
Клінічні лабораторії оцінюють навантаження на суглоб (joint loading) за допомогою силових платформ і маркерного mocap — обладнання, недоступного вдома. Злиті дані IMU+камера дозволяють отримати наближену оцінку:
• Обернена динаміка (inverse dynamics): маючи прискорення сегментів (з IMU) і кінематичний ланцюг (з камери), можна оцінити моменти сил у суглобах при відомій антропометрії пацієнта (зріст, вага, приблизні пропорції сегментів) • Похибка проти лабораторного еталону: типово 15–25% для оціночних моментів сили — недостатньо для біомеханічних досліджень, але прийнятно для трендового моніторингу «сесія до сесії» в реабілітації • Асиметрія навантаження: порівняння лівої/правої кінцівки виявляє компенсаторне уникнення навантаження на прооперовану чи болючу сторону — важливий індикатор прогресу після ортопедичних втручань
Ці оцінки не замінюють лабораторну біомеханіку, але дають терапевту кількісний, а не лише візуальний сигнал прямо із домашнього середовища пацієнта.
Кінцева мета дистанційної терапії — не технологічна елегантність, а клінічний результат: чи відновлюється функція пацієнта так само добре, як при очній терапії, і чи залишається пацієнт залученим до курсу лікування довше. Довгострокова аналітика агрегує дані сотень сеансів у зрозумілі терапевту тренди.
Терапевт бачить агреговану картину по кожному пацієнту за весь курс, а не лише окремий сеанс:
• Частота сеансів: заплановано проти фактично виконано, з трендом за тижнями курсу • Тривалість активної фази: скільки хвилин пацієнт справді рухався (виключаючи паузи з’єднання) відносно запланованого протоколу • Якість виконання: середня оцінка техніки за сеанс у динаміці — зростання свідчить про засвоєння правильного патерну руху, а не лише механічне повторення • Домашні самостійні вправи: окремий трек для вправ без живого нагляду терапевта, з асинхронною перевіркою запису • Прапорці ризику відсіву: падіння частоти сеансів понад два тижні поспіль автоматично позначається для проактивного дзвінка координатора
Ця аналітика перетворює суб’єктивне відчуття терапевта «пацієнт ніби менш залучений» на кількісний, дієвий сигнал заздалегідь.
Метааналізи опорно-рухових та постінсультних протоколів дистанційної терапії 2021–2024 років послідовно показують клінічну неінферіорність порівняно з очною терапією за шкалами функціонального відновлення (наприклад, Barthel Index, WOMAC) при вищій середній прихильності пацієнтів.
Географічний доступ — одна з найсильніших клінічних переваг телереабілітації:
• Радіус охоплення: одна клінічна команда, що фізично обслуговувала пацієнтів у радіусі 30–50 км, дистанційно охоплює регіон практично без географічного обмеження • Скорочення часу до першого сеансу: замість очікування транспортування чи запису до єдиного місцевого фахівця пацієнт починає курс протягом днів, а не тижнів • Зниження бар’єру транспортування: для пацієнтів з обмеженою мобільністю (саме та категорія, яка найбільше потребує терапії) поїздка до клініки часто фізично виснажливіша за саму вправу • Розподіл дефіцитних спеціалістів: вузькопрофільні реабілітологи (наприклад, спеціалісти з неврологічної реабілітації) можуть консультувати пацієнтів у регіонах, де таких фахівців фізично немає
Обмеження залишаються: платформа вимагає базового цифрового доступу (пристрій, інтернет) і мінімальної цифрової грамотності — тому програми часто включають короткий супровідний дзвінок технічної підтримки перед першим сеансом.
Відеопотік і біометричні дані руху пацієнта — чутлива медична інформація, що вимагає окремого регуляторного підходу:
• Шифрування наскрізне: відео та сенсорні потоки шифруються протягом усього шляху (DTLS-SRTP для медіа, TLS для метаданих), сирі кадри не зберігаються довше технічно необхідного мінімуму • Мінімізація даних: платформи все частіше зберігають лише похідні скелетні координати та кутові метрики, а не самі відеокадри, для довгострокової аналітики — це знижує ризик у разі витоку • Відповідність нормам: HIPAA (США), GDPR (ЄС) та локальні аналоги вимагають явної згоди пацієнта на запис, право на видалення даних і аудит доступу персоналу до записів сеансів • Локальна обробка (edge inference): виконання моделі оцінки пози на пристрої пацієнта, а не в хмарі, додатково знижує обсяг чутливих даних, що взагалі покидають дім пацієнта
Наступне покоління платформ рухається від реактивної корекції («ви відхилились — ось підказка») до проактивного персоналізованого супроводу:
• Адаптивна прогресія: алгоритм автоматично пропонує наступний рівень складності на основі тренду точності техніки й амплітуди, з підтвердженням терапевта • Прогнозування відсіву: моделі, навчені на історичних даних прихильності, завчасно виявляють пацієнтів групи ризику припинення курсу для проактивного втручання координатора • Мультимодальна оцінка болю: поєднання голосових повідомлень пацієнта («трохи тягне»), міміки з відео та патернів уповільнення руху для більш повної картини суб’єктивного стану • Гібридні протоколи: чергування дистанційних і періодичних очних візитів там, де потрібна пальпація чи мануальна техніка, недоступна дистанційно — телереабілітація доповнює, а не повністю замінює очну терапію
| Product | Indication | Trial Design | Key Result |
|---|---|---|---|
| Точність оцінки руху | Камера + IMU/EMG вдома | ±1.5–2° (злиті дані) проти ±0–1° маркерного mocap у лабораторії | Достатньо для трендового клінічного моніторингу |
| Частота живого фідбеку | Голос/візуал/гаптика, 200–400 мс | Терапевт вручну виправляє поставу дотиком миттєво | Порівнянна швидкість корекції за нормальної мережі |
| Вартість сеансу | −40% відносно очного візиту | Без витрат на транспортування, оренду кабінету | Довший курс за той самий бюджет |
| Географічний доступ | Необмежений (за наявності мережі) | Очна терапія обмежена радіусом клініки | Охоплення сільських і малообслугованих громад |