🚗 Сприйняття Автономного Автомобіля — Злиття Сенсорів Наживо

Злиття сенсорів об'єднує вимірювання від кількох типів сенсорів — зазвичай LIDAR, камер і радара — в одну, точнішу оцінку світу, ніж міг би дати будь-який окремий сенсор. LIDAR повертає точні 3D-хмари точок із надійною відстанню, але розріджений на великій відстані й погано працює в тумані чи сильному дощі. Камери дають щільні зображення високої роздільної здатності з чудовою точністю напрямку та інформацією про клас об'єкта, але погану й шумну оцінку глибини з одного об'єктива. Фільтр Калмана об'єднує ці взаємодоповнювальні переваги, зважуючи кожне вимірювання відповідно до власної коваріації шуму, тому фінальний трек спирається на той сенсор, що надійніший у певному напрямку в даний момент.

Кожен відстежуваний об'єкт зберігає вектор стану позиції та швидкості плюс матрицю коваріації, що описує невизначеність оцінки. Кожен крок симуляції виконує крок передбачення (просування стану за моделлю руху з постійною швидкістю та додаванням шуму процесу), за яким слідує один або кілька кроків оновлення — по одному на кожне доступне вимірювання. Кожне оновлення обчислює нев'язку — різницю між передбаченою позицією та новим вимірюванням — масштабує її коефіцієнтом підсилення Калмана, отриманим із співвідношення поточної невизначеності до власної коваріації шуму сенсора, і додає її до стану. Точне влучення LIDAR сильно притягує оцінку до себе; шумне вимірювання глибини камерою тягне лише слабко, тоді як точна складова напрямку все одно сильно допомагає.

LIDAR вимірює відстань безпосередньо за часом польоту лазера, тому його похибка мала й майже однакова в усіх напрямках, повільно зростаючи лише з відстанню. Одна камера оцінює 3D-позицію шляхом висновку, що точно для кута до об'єкта, але дуже невизначено вздовж лінії погляду. Ця симуляція моделює це явно: коваріація шуму кожної детекції камери будується як еліпс, витягнутий уздовж осі глибини й повернутий відповідно до справжнього напрямку об'єкта від власного автомобіля, а потім із цього еліпса вибирається корельований гаусів шум за допомогою розкладу Холецького.

Маленькі напівпрозорі блакитні кульки — це сирі, шумні детекції LIDAR, а маленькі напівпрозорі бурштинові кубики — сирі, шумні детекції камери — саме те, що повідомляє кожен сенсор до будь-якої фільтрації. Суцільні помаранчеві прямокутники — це об'єднані треки Калмана: відфільтрована, згладжена оцінка стану для кожної перешкоди після поєднання всіх доступних вимірювань із правильним зважуванням за коваріацією. Спостереження за тим, як суцільний прямокутник залишається стабільним, поки сирі точки тремтять навколо нього, і є суттю злиття сенсорів, зробленою видимою.

Вимкнення LIDAR або камери просто зупиняє генерацію детекцій цього сенсора для кожного наступного кадру. Наявні треки продовжують працювати лише на кроці передбачення — їхня позиція просувається з використанням останньої відомої швидкості, а їхня невизначеність зростає щокроку, бо жодне нове вимірювання її не зменшує. Якщо трек занадто довго не отримує оновлення, він видаляється — саме так реальні стеки сприйняття обробляють випадання сенсора чи оклюзію: коротко «пливти» на моделі руху, а потім здатися, якщо нічого не підтверджує, що об'єкт усе ще там.

Щокадру кожна нова детекція порівнюється з передбаченою позицією кожного наявного треку за допомогою воріт найближчого сусіда. Детекції, що потрапляють у ворота, оновлюють цей трек — реальний об'єкт може бути підтверджений і LIDAR, і камерою в тому самому кадрі. Детекції, що нічому не відповідають, кластеризуються з будь-якими іншими невідповідними детекціями поблизу і породжують абсолютно новий попередній трек, який підвищується до підтвердженого лише після кількох послідовних влучень. Треки, що перестають отримувати детекції, накопичують пропуски й видаляються, щойно перевищують ліміт пропусків, тому кількість активних треків завжди відображає те, що об'єднана система наразі вважає присутнім.