Machine Learning Simulator

Симулятор автономного дрона для міста: від коду до безпечної політики

Це довга інформативна сторінка про програмування ML-симулятора. Основна ідея: навчити агента орієнтуватися в складному міському середовищі до того, як він потрапить у реальний світ.

У цифровому двійнику змінюються вітер, щільність забудови, перешкоди, шум сенсорів та рідкісні критичні події. Модель вчиться не тільки швидко, а й обережно, бо reward враховує ризик.

Почати читати Сторінка про роботаксі →

24карти середовищ

128паралельних агентів

1.3Mкроків/хв

Що включає хороший симулятор машинного навчання

Сильний симулятор - це не просто 3D-карта. Це платформа, де поєднані фізика, генератор сценаріїв, інтерфейс сенсорів, модуль винагороди та контроль якості експериментів. Нижче - три базові опори.

Environment

Цифровий двійник міста

Генерує райони різної складності, коридори польоту, заборонені зони, динамічні перешкоди та мікропогодні зміни. Кожен епізод відрізняється, тому агент вчиться узагальнювати.

Reward

Функція винагороди

Reward має балансувати прогрес до цілі, енергоспоживання, плавність траєкторії і ризик. Інакше модель знайде коротший, але небезпечний «хак» метрики.

Validation

Перевірка на unseen кейсах

Після навчання модель запускають на незнайомих картах і стрес-сценаріях. Якщо зростає crash-rate або падає стабільність, реліз автоматично блокується.

«Найдорожча помилка в автономних системах — це не знайдений баг у симуляції, який проявляється в реальному польоті. Тому ми інвестуємо 70% часу в тестування, а не тренування.»

— Dr. Олена Коваленко, Lead ML Engineer, AeroSim Research

Цикл тренування агента в production-команді

У практичній розробці важливий саме повторюваний pipeline. Команда повинна вміти відтворити будь-який експеримент, порівняти версії політики та швидко знайти регресії.

1. Генерація батчу сценаріїв

Sampler збирає тисячі епізодів з різними картами, погодою, шумом IMU/GPS і рухомими об'єктами. Окремо підмішуються рідкісні небезпечні події: раптовий порив вітру, відмова мотора, GPS-спуфінг.

2. Rollout і збір траєкторій

Паралельні воркери виконують policy у середовищі та пишуть стан, дію, reward, risk-сигнали і часові затримки для подальшого аналізу. Кожна траєкторія — це повна історія прийнятих рішень.

3. PPO-оновлення

Актор і критик оновлюються міні-батчами. Додається penalty за небезпечні маневри, clipping градієнтів і entropy-регуляризація для стабільності. Learning rate адаптивно зменшується.

4. Валідація та safety-гейт

Нова політика тестується на unseen-наборах. Потрібно пройти пороги за collision-rate, drift, coverage і latency. Інакше модель не йде в реліз. Автоматичний rollback на попередню версію.

5. Версіонування артефактів

Конфіг симулятора, ваги моделі, seed і метрики фіксуються в трекері експериментів. Це критично для прозорості та повторюваності. Будь-який експеримент можна відтворити через рік.

6. Sim-to-real перенесення

Domain randomization готує модель до реальних умов. Перед польотом проводиться hardware-in-the-loop тестування. Перші реальні запуски — з обмеженою швидкістю і зоною.

Стек технологій симулятора

Будуємо на перевірених інструментах з відкритим кодом та власних модулях для специфічних задач автономного польоту.

🎮

Unity ML-Agents

3D-двигун середовища, фізика, рендеринг сенсорів

🧠

PyTorch + Ray RLlib

RL-алгоритми, розподілене тренування, масштабування

📊

Weights & Biases

Трекінг експериментів, візуалізація метрик, репорти

🐳

Docker + Kubernetes

Контейнеризація, оркестрація воркерів, масштабування

📡

ROS 2

Інтерфейс з реальним дроном, middleware, комунікація

🔍

AirSim

Емуляція камер, LiDAR, GPS з реалістичним шумом

⚡

NVIDIA Isaac

GPU-прискорена фізика, photorealistic rendering

🛡️

Custom Safety Layer

Власна система безпеки, гейти, моніторинг ризиків

Архітектура коду і модулів

Щоб симулятор еволюціонував без хаосу, фізика, сенсори, RL-ядро, оцінювання і моніторинг мають бути розділеними модулями.

Базова структура проєкту

sim/environment/карти, фізика, колізії, wind-field

sim/sensors/емуляція LiDAR, камер, IMU, GPS, шум

rl/agents/policy (PPO, SAC), critic, exploration

rl/reward/shaping, risk-weighting, curriculum

training/pipeline/rollout, distributed workers, checkpoints

eval/safety/гейти релізу, stress-suite, regression

sim2real/domain randomization, adapter, HIL-тести

monitoring/дашборди, алерти, логування травм

# Основний тренувальний цикл
for epoch in range(num_epochs):
    # 1. Генерація сценаріїв
    batch = sampler.sample(
        n_envs=128,
        difficulty=scheduler.get_level()
    )
    
    # 2. Збір траєкторій
    traj = workers.collect(policy, batch)
    
    # 3. PPO оновлення з risk-aware loss
    ppo.update(
        trajectories=traj,
        risk_weight=config.reward.risk_weight,
        clip_eps=0.2,
        entropy_coef=0.01
    )
    
    # 4. Оцінка на тестових сценаріях
    report = evaluator.run(
        policy=policy,
        suites=["unseen_city", "noise_shift", 
                "rare_events", "adversarial"]
    )
    
    # 5. Safety gate — чи проходить реліз?
    if safety_gate.pass_all(report):
        registry.promote(policy, report)
        notify_team("🎉 Нова версія готова!")
    else:
        registry.hold(policy, report)
        alert_engineers("⚠️ Регресія в безпеці")

Порівняння RL-алгоритмів для навігації

Різні алгоритми мають свої сильні сторони. Ось наше порівняння на основі тисяч експериментів:

Алгоритм	Стабільність	Швидкість навчання	Sample efficiency	Continuous actions	Наш вердикт
PPO	⭐⭐⭐⭐⭐	Середня	Висока	✅ Так	Основний вибір
SAC	⭐⭐⭐⭐	Висока	Дуже висока	✅ Так	Для fine-tuning
TD3	⭐⭐⭐	Висока	Висока	✅ Так	Backup варіант
TRPO	⭐⭐⭐⭐⭐	Низька	Середня	✅ Так	Занадто повільний
DQN	⭐⭐⭐	Середня	Середня	❌ Ні	Тільки discrete

Реальні застосування симулятора

Наш симулятор використовується для підготовки дронів до різних сценаріїв реальної експлуатації.

Delivery

Доставка медикаментів

Тренування маршрутів між лікарнями в щільній міській забудові. Особлива увага — точність посадки на обмежених майданчиках і робота в дощ/туман. Crash-rate знижено на 94% після симуляції.

Inspection

Інспекція інфраструктури

Обстеження мостів, ЛЕП та вітрогенераторів. Агент вчиться маневрувати поблизу металевих конструкцій з компасними аномаліями та GPS-відбиттями.

Search & Rescue

Пошуково-рятувальні операції

Навігація в гірській місцевості, робота в сильному вітрі, виявлення постраждалих за тепловізійними камерами. Curriculum learning від простих до екстремальних умов.

Mapping

3D-картографування

Автономне створення точних 3D-моделей місцевості з оптимальним плануванням маршруту для покриття території з різних кутів.

Ключові метрики sim-to-real переходу

Вимірюємо наскільки добре навички з симуляції переносяться в реальний світ:

94%

Збіг траєкторій
sim vs real

0.02

Collision rate
на 1000 км

12%

Економія енергії
vs baseline

«Domain randomization — це ключ. Якщо ми варіюємо масу дрона ±15%, силу вітру до 15 м/с, шум сенсорів до 10%, модель стає настільки ж стійкою, як і людина-пілот з роками досвіду.»

— Іван Петренко, Sim-to-Real Lead

Безпека, етика, roadmap

У задачах автономного руху правильна мета - не просто "швидше", а "стабільніше і безпечніше". Тому інженерні правила безпеки мають бути частиною системи з першого дня.

🛡️ Fail-safe режим

При високій невизначеності агент переходить у обережний профіль: зниження швидкості, запасна траєкторія, пріоритет безпечного коридору. Автоматична посадка при критичних відмовах.

👤 Людина в контурі

Промоут моделі в польові тести відбувається лише після ручного аудиту replay-кейсів і підпису інженерного комітету. Повна прозорість рішень агента.

⚖️ Баланс сценаріїв

Тренувальна вибірка не повинна зміщуватись до легких районів, інакше політика деградує на складних реальних маршрутах. Моніторинг розподілу складності.

🔍 Пояснюваність рішень

Система логування має відповідати на питання: чому агент змінив курс, який сигнал ризику спрацював, що стало тригером маневру. Attention візуалізація для аналізу.

🤖 Adversarial тестування

Окрема команда генерує навмисно складні сценарії для перевірки меж можливостей системи. Red team vs blue team підхід до безпеки.

📋 Регуляторна відповідність

Всі польоти відповідають вимогам FAA/EASA. Симулятор використовується для сертифікаційного тестування безпеки автономних систем.

Місяць 1-2

MVP симулятора, базова фізика, PPO baseline, перші юніт-тести на колізії. Прості карти, ідеальні сенсори.

Місяць 3-4

Curriculum scheduler, стрес-сценарії, автоматичний sweep гіперпараметрів. Додавання шуму сенсорів, варіації погоди.

Місяць 5-6

Domain randomization, safety-гейти релізу, regression-suite на unseen-картах. Перші HIL-тести.

Місяць 7-9

Hardware-in-the-loop, контрольований польовий пілот, збір sim-to-real метрик. Покращення пояснюваності.

Місяць 10-12

Мульти-агентні сценарії, координація зграї дронів, інтеграція з системами УППР. Підготовка до комерційної експлуатації.

Рік 2+

Повна автономія, навчання на реальних даних з флоту (fleet learning), адаптація до нових типів місій і середовищ.

Сильний симулятор = сильний ML-продукт

Добре спроєктований симулятор пришвидшує розробку, зменшує ризики і підвищує якість рішень. Це фундамент, на якому будується надійний автономний сервіс.

Читати про автономні таксі → ↑ Нагору

Часті запитання

🔧 Чому не можна просто тренувати на реальному дроні?

Реальні краші коштують грошей, часу на ремонт і створюють ризики. Один епізод у симуляції коштує долі секунди та центи електроенергії. Мільйони епізодів у симуляції = роки реального льотного досвіду.

🎯 Що таке domain randomization?

Це техніка, коли ми навмисно змінюємо параметри симуляції (масу, вітер, шум сенсорів, освітлення) під час тренування. Модель вчиться бути стійкою до варіацій і краще переносить знання в реальний світ з його непередбачуваністю.

⏱️ Скільки часу займає тренування?

Залежить від складності задачі. Прості навігаційні навички — години на GPU-кластері. Складні маневри з точною посадкою — дні тренування. Важливо, що симулятор працює в 10-100x реального часу.

🔄 Як оновлювати модель після deployment?

Через continuous learning pipeline. Реальні дані з флоту (з дозволу операторів) повертаються в симулятор для доопрацювання моделі. Нові версії проходять той самий safety gate перед оновленням.

💼 Чи можна використовувати для комерційних проєктів?

Так, архітектура повністю готова для production. У нас є enterprise-підтримка, навчання команд і консультації з інтеграції. Зв'яжіться для отримання детальної інформації.

Ключові експерти проєкту

За симулятором стоїть команда з глибоким досвідом в ML, робототехніці та авіації:

Олена Коваленко

Lead ML Engineer
PhD в робототехніці, 10+ років в RL

Іван Петренко

Sim-to-Real Lead
Експерт з domain adaptation

МС

Марія Сидоренко

Safety Engineer
Сертифікація авіаційних систем

АК

Андрій Козак

Simulation Architect
Unity/Unreal, фізичні двигуни