VISTA : test de grandeur nature pour le simulateur de véhicules du MIT

Dans une étude récente, provenant du laboratoire d’informatique et d’intelligence artificielle du MIT et du Toyota Research Institute, décrire la synthèse et la transformation d’images virtuelles pour l’autonomie (VISTA), une plateforme de développement de véhicules autonomes qui utilise un ensemble de données du monde réel pour synthétiser des points de vue à partir de trajectoires que la voiture pourrait prendre.

Alors que les constructeurs automobiles sans conducteur, y compris Waymo, Uber, Aurora et d’autres utilisent des environnements de simulation pour former l’IA qui sous-tend leurs voitures réelles, le MIT affirme que son système est l’un des rares qui n’exige pas que les humains ajoutent manuellement des marquages ​​routiers, des voies , arbres, modèles physiques, etc. Cela pourrait accélérer considérablement les tests et le déploiement de véhicules autonomes.

Comme l’expliquent les chercheurs, VISTA récompense les voitures virtuelles pour la distance qu’elles parcourent sans s’écraser afin qu’elles soient «motivées» pour apprendre à naviguer dans diverses situations, y compris reprendre le contrôle après avoir dévié entre les voies. VISTA est basé sur les données, ce qui signifie qu’il synthétise à partir de trajectoires de données réelles cohérentes avec l’apparence de la route, ainsi que la distance et le mouvement de tous les objets de la scène. Cela évite les décalages entre les connaissances acquises en simulation et le fonctionnement des voitures dans le monde réel.

Pour former VISTA, les chercheurs ont collecté des données vidéo d’un humain conduisant sur quelques routes, pour chaque image, VISTA a prédit chaque pixel dans un type de nuage de points 3D. Ensuite, les chercheurs ont placé un véhicule virtuel à l’intérieur de l’environnement et l’ont truqué de sorte que lorsqu’il a fait une commande de direction, VISTA a synthétisé une nouvelle trajectoire à travers le nuage de points en fonction de la courbe de direction, de l’orientation et de la vitesse du véhicule.

VISTA a utilisé la trajectoire susmentionnée pour rendre une scène photo-réaliste, estimant une carte de profondeur contenant des informations relatives à la distance des objets du point de vue du véhicule. En combinant la carte de profondeur avec une technique qui estime l’orientation de la caméra dans une scène 3D, le moteur a localisé l’emplacement du véhicule et la distance relative de tout dans le simulateur virtuel, tout en réorientant les pixels d’origine pour recréer une représentation du monde à partir du véhicule.

Lors de tests effectués après 10 à 15 heures de formation – au cours desquels la voiture virtuelle a parcouru 10 000 kilomètres (0,62 miles) – une voiture formée avec le simulateur VISTA a pu naviguer dans des rues jamais vues auparavant. Même lorsqu’elle est positionnée à des orientations hors route qui imitent diverses situations de quasi-accident, telles que la moitié de la route ou dans une autre voie, la voiture parvient à retrouver une trajectoire de conduite sûre en quelques secondes.

À l’avenir, l’équipe de recherche espère simuler tous les types de conditions routières à partir d’une seule trajectoire de conduite, comme la nuit & le jour – le temps ensoleillé & pluvieux.

Ils espèrent également simuler des interactions plus complexes avec d’autres véhicules sur la route, à voir par la suite !