FR 
EnglishPar défaut
Українська🚗 Perception d'un Véhicule Autonome — Fusion de Capteurs en Direct
Fusionnez des nuages de points LIDAR simulés avec des détections de type caméra grâce à un traqueur à filtre de Kalman, et observez la liste d'objets fusionnée rester verrouillée sur des obstacles mobiles en temps réel.
À propos de cette simulation
Les véhicules autonomes ne font jamais confiance à un seul capteur. Le LIDAR fournit des mesures de distance 3D précises et quasi isotropes, mais elles sont éparses et se dégradent par mauvais temps ; les caméras sont denses et bon marché mais n'estiment la profondeur que de façon indirecte, si bien que leurs mesures de distance sont bruitées tandis que leurs mesures de direction (angle) sont excellentes. Un filtre de Kalman est la méthode classique, mathématiquement optimale (pour les systèmes linéaires-gaussiens) pour combiner ces forces complémentaires : chaque obstacle suivi conserve une estimation d'état de position et de vitesse ainsi qu'une matrice de covariance décrivant le niveau de confiance du traqueur, et chaque nouvelle mesure ajuste cette estimation d'une quantité proportionnelle à la fiabilité du capteur par rapport à l'estimation actuelle.
Cette simulation restitue une véritable scène 3D autour d'un véhicule ego : de vrais maillages Three.js se déplacent le long de trajectoires indépendantes, un filtre de Kalman par objet prédit le mouvement de chaque obstacle à chaque image avec un bruit de processus réaliste, et des mesures LIDAR et caméra simulées — chacune avec sa propre covariance de bruit physiquement motivée — sont fusionnées en une boîte englobante suivie et pleine. Les impacts de capteurs bruts et instables sont dessinés comme de petits marqueurs translucides afin que le bénéfice de lissage apporté par la fusion soit directement visible plutôt que simplement annoncé.
Questions fréquentes
Qu'est-ce que la fusion de capteurs dans la perception d'un véhicule autonome ?
La fusion de capteurs combine des mesures provenant de plusieurs types de capteurs — typiquement le LIDAR, les caméras et le radar — en une seule estimation du monde plus précise que celle que produirait n'importe quel capteur seul. Le LIDAR renvoie des nuages de points 3D précis avec une portée fiable, mais il est peu dense à longue distance et peine par temps de brouillard ou de forte pluie. Les caméras fournissent des images denses et haute résolution avec une excellente précision de direction et des informations de classe, mais une estimation de profondeur pauvre et bruitée à partir d'un seul objectif. Un filtre de Kalman fusionne ces forces complémentaires en pondérant chaque mesure selon sa propre covariance de bruit, si bien que le suivi final s'appuie sur le capteur le plus fiable dans cette direction à cet instant.
Comment un filtre de Kalman combine-t-il les données LIDAR et caméra ?
Chaque objet suivi conserve un vecteur d'état de position et de vitesse ainsi qu'une matrice de covariance décrivant l'incertitude de l'estimation. Chaque étape de la simulation exécute une étape de prédiction (faisant avancer l'état avec un modèle de mouvement à vitesse constante et en ajoutant du bruit de processus), suivie d'une ou plusieurs étapes de mise à jour, une par mesure disponible. Chaque mise à jour calcule l'innovation — l'écart entre la position prédite et la nouvelle mesure —, la met à l'échelle par le gain de Kalman, dérivé du rapport entre l'incertitude actuelle et la covariance de bruit propre au capteur, et l'intègre dans l'état. Une mesure LIDAR précise tire fortement l'estimation vers elle-même ; une mesure de profondeur bruitée de la caméra ne tire que faiblement, tandis que sa composante de direction précise aide néanmoins beaucoup.
Pourquoi les caméras et le LIDAR ont-ils des caractéristiques de bruit différentes dans cette simulation ?
Le LIDAR mesure directement la distance par temps de vol laser, si bien que son erreur est faible et quasiment identique dans toutes les directions, n'augmentant que lentement avec la distance. Une seule caméra estime la position 3D par inférence, ce qui est précis pour l'angle vers un objet mais très incertain le long de la ligne de visée. Cette simulation modélise explicitement ce comportement : la covariance de bruit de chaque détection caméra est construite comme une ellipse étirée le long de l'axe de profondeur et orientée pour correspondre à la direction réelle de l'objet depuis le véhicule ego, puis un bruit gaussien corrélé est échantillonné à partir de cette ellipse à l'aide d'une décomposition de Cholesky.
Que représentent les points bruts et les boîtes pleines ?
Les petites sphères cyan translucides sont les détections LIDAR brutes et bruitées, et les petits cubes ambrés translucides sont les détections caméra brutes et bruitées — exactement ce que chaque capteur rapporte avant tout filtrage. Les boîtes orange pleines sont les suivis de Kalman fusionnés : l'estimation d'état filtrée et lissée pour chaque obstacle après combinaison de toutes les mesures disponibles avec leur pondération de covariance correcte. Observer la boîte pleine rester stable pendant que les points bruts s'agitent autour d'elle, voilà tout l'intérêt de la fusion de capteurs rendu visible.
Que se passe-t-il lorsqu'un capteur est désactivé dans cette simulation ?
Désactiver le LIDAR ou la caméra arrête simplement la génération des détections de ce capteur pour chaque image suivante. Les suivis existants continuent de fonctionner uniquement sur l'étape de prédiction — leur position avance selon la dernière vitesse connue et leur incertitude augmente à chaque étape car aucune nouvelle mesure ne la réduit. Si un suivi ne reçoit aucune mise à jour pendant trop d'images, il est supprimé, exactement comme les véritables systèmes de perception gèrent la perte de capteur ou l'occlusion : continuer brièvement sur le modèle de mouvement, puis abandonner si rien ne confirme que l'objet est toujours là.
Comment le traqueur gère-t-il l'apparition ou la disparition de nouveaux obstacles ?
À chaque image, chaque nouvelle détection est comparée à la position prédite de chaque suivi existant à l'aide d'un seuil de plus proche voisin. Les détections qui tombent dans ce seuil mettent à jour ce suivi — un objet réel peut être confirmé à la fois par le LIDAR et la caméra dans la même image. Les détections qui ne correspondent à rien sont regroupées avec d'autres détections non appariées à proximité et donnent naissance à un tout nouveau suivi provisoire, promu en suivi confirmé seulement après quelques détections consécutives. Les suivis qui cessent de recevoir des détections accumulent des échecs et sont supprimés une fois la limite d'échecs dépassée, si bien que le nombre de suivis actifs reflète toujours ce que le système fusionné croit actuellement présent.