La technologie Jijia a récemment publié un nouveau cadre de reconstruction de la scène de conduite 4D appelée DriveDreamer4D. Conditions routières. "Le problème. DriveDreamer4d élargit efficacement les données de formation et améliore considérablement la robustesse du modèle en introduisant un modèle mondial.
La méthode de reconstruction de la scène 4D traditionnelle repose principalement sur deux grandes écoles: NERF et 3DG. Nerf utilise des réseaux de neurones pour rendre les photos en modèles 3D, tandis que 3DGS utilise une fonction gaussienne tridimensionnelle pour simuler des objets dans la scène. Cependant, les deux méthodes reposent fortement sur les données de formation et permettent de mal fonctionner lorsqu'ils traitent des conditions routières complexes (telles que le changement de voie, l'accélération et la décélération). DriveDreamer4D présente des modèles mondiaux pour prédire les situations futures possibles et génère de nouvelles données vidéo en perspective dans diverses conditions routières complexes, ce qui équivaut à fournir des données de formation "compensées" pour le modèle de reconstruction de scène 4D. De plus, le nouveau module de génération de trajectoires (NTGM) génère automatiquement diverses nouvelles trajectoires conformes aux règles de circulation et utilise le modèle mondial pour générer des vidéos à partir de perspectives correspondantes, permettant au modèle d'être à l'aise dans diverses conditions routières complexes. Les résultats expérimentaux montrent que l'effet de reconstruction de DriveDreamer4D dans le traitement des conditions routières complexes est nettement meilleure que celle des méthodes traditionnelles, l'image générée est plus de fidélité et peut restaurer avec précision l'emplacement du véhicule et des lignes de voie. L'émergence de DriveDreamer4D devrait améliorer considérablement l'efficacité, la sécurité et la fiabilité de la recherche et du développement et des tests autonomes de conduite autonome.
Mais les deux méthodes ont une faiblesse fatale: elles comptent trop sur les données d'entraînement! Par conséquent, face à des conditions routières complexes, telles que le changement de voie, l'accélération et la décélération, ils sont enclins à se renverser.
Afin de résoudre ce problème, la technologie Jijia a lancé cette fois un gros tueur - DriveDreamer4d. En bref, cette chose est d'ajouter un modèle de plug-in-le monde à la reconstruction des scènes 4D.
Vous pouvez comprendre le modèle mondial comme un cerveau d'IA qui peut prédire ce qui pourrait se produire à l'avenir en fonction des données existantes. DriveDreamer4d utilise le modèle mondial pour générer de nouvelles données vidéo en perspective dans diverses conditions routières complexes, ce qui équivaut à l'alimentation du modèle de formation de reconstruction de la scène 4D ", récompensée du cerveau", afin qu'elle puisse être bien informée et ne pas échouer.
Ce qui est encore plus génial, c'est que DriveDreamer4D a également conçu spécialement un nouveau module de génération de morceaux (NTGM). Cette chose peut générer automatiquement diverses nouvelles trajectoires qui respectent les règles de la circulation, telles que le changement de voie, l'accélération, la décélération, etc., puis utiliser le modèle mondial pour générer des vidéos à partir de perspectives correspondantes, ce qui équivaut à demander un "scolarier" pour le Modèle de reconstruction de la scène 4D.
Les résultats expérimentaux prouvent également la force de DriveDreamer4D. Lorsqu'il s'agit de conditions routières complexes, son effet de reconstruction est nettement meilleur que les méthodes traditionnelles, l'image générée est plus de fidélité et peut restaurer avec précision l'emplacement du véhicule et des lignes de voie.
En bref, l'émergence de DriveDreamer4d est comme lancer une bombe nucléaire dans le domaine de la reconstruction de la scène 4D, explosant directement le plafond de la technologie. Avec lui, la recherche et le développement et les tests de conduite autonome seront plus efficaces, sûrs et fiables.
Bien sûr, DriveDreamer4d est toujours au stade de la recherche et il y a encore beaucoup de choses à améliorer à l'avenir. Mais je crois que, à mesure que la technologie continue de se développer, elle deviendra plus forte et deviendra finalement une partie indispensable du domaine de la conduite autonome.
Adresse papier: https://arxiv.org/pdf/2410.13571
Page d'accueil du projet: https://driveDeamer4d.github.io/
Adresse du code: https://github.com/gigaai-research/driveDreamer4d
L'émergence du cadre DriveDreamer4D a apporté des percées révolutionnaires à la technologie de reconstruction des scènes 4D, et ses perspectives d'application dans le domaine de la conduite autonome valent la peine d'être attendues. Bien qu'il soit encore au stade de la recherche, ses performances puissantes et ses larges perspectives d'application indiquent que la technologie de conduite autonome passera à une nouvelle hauteur.