Die Jijia -Technologie hat kürzlich ein neues 4D -Rekonstruktions -Framework namens Drevernreamer4D veröffentlicht. Straßenbedingungen. "Das Problem. DRIVEDREAMER4D erweitert die Trainingsdaten effektiv und verbessert die Robustheit des Modells durch Einführung eines Weltmodells erheblich.
Die traditionelle 4D -Szenenrekonstruktionsmethode basiert hauptsächlich auf zwei Hauptschulen: Nerf und 3DGs. Nerf verwendet neuronale Netze, um Fotos in 3D-Modelle zu rendern, während 3DGs eine dreidimensionale Gaußsche Funktion verwendet, um Objekte in der Szene zu simulieren. Beide Methoden beruhen jedoch stark auf Schulungsdaten und funktionieren bei komplexen Straßenbedingungen (z. B. Fahrspurwechsel, Beschleunigung und Verzögerung) schlecht. DRIVEDREAMER4D führt Weltmodelle ein, um mögliche zukünftige Situationen vorherzusagen, und generiert neue perspektivische Videodaten unter verschiedenen komplexen Straßenbedingungen, was der Bereitstellung von "Gehirn-kompensierten" Trainingsdaten für das 4D-Szenenrekonstruktionsmodell entspricht. Darüber hinaus generiert das neue Trajektoriengenerierungsmodul (NTGM) automatisch verschiedene neue Trajektorien, die den Verkehrsregeln entsprechen, und nutzt das Weltmodell, um Videos aus entsprechenden Perspektiven zu generieren, sodass das Modell unter verschiedenen komplexen Straßenbedingungen beruhigt sein kann. Experimentelle Ergebnisse zeigen, dass der Rekonstruktionseffekt von Dreamer4D im Umgang mit komplexen Straßenbedingungen erheblich besser ist als die der herkömmlichen Methoden. Das erzeugte Bild ist mehr Treue und kann die Position des Fahrzeug- und Fahrspurleitungen genau wiederherstellen. Es wird erwartet, dass die Entstehung von Dreamer4D die Effizienz, Sicherheit und Zuverlässigkeit autonomer Fahrerforschung und -entwicklung und -untersuchung erheblich verbessert.
Beide Methoden haben jedoch eine tödliche Schwäche: Sie sind zu sehr auf Trainingsdaten angewiesen, zum Beispiel haben Sie nur ein Auto in einer geraden Linie gesehen und plötzlich umdrehen und sich umdrehen, und Sie waren verwirrt. Daher sind sie bei komplexen Straßenverhältnissen wie Spurwechsel, Beschleunigung und Verzögerung anfällig für Umsturz.
Um dieses Problem zu lösen, hat Jijia Technology diesmal einen großen Killer - Dreamer4D gestartet. Kurz gesagt, dieses Ding besteht darin, der Rekonstruktion von 4D-Szenen ein KI-Plug-in-the World-Modell hinzuzufügen.
Sie können das Weltmodell als KI -Gehirn verstehen, das vorhersagen kann, was in Zukunft auf der Grundlage vorhandener Daten passieren kann. DRIVEDREAMER4D verwendet das Weltmodell, um neue perspektivische Videodaten unter verschiedenen komplexen Straßenbedingungen zu generieren, was der Fütterung des 4D-Szenenrekonstruktionsmodells "Hirnkompensierte" Trainingsdaten entspricht, damit es kompetent sein kann und nicht mehr scheitert.
Noch großartiger ist, dass Dreameramer4D auch speziell ein neues Track -Generierungsmodul (NTGM) entworfen hat. Dieses Ding kann automatisch verschiedene neue Trajektorien generieren, die den Verkehrsregeln entsprechen, wie z. 4D -Szene -Rekonstruktionsmodell.
Die experimentellen Ergebnisse beweisen auch die Stärke von Dreamer4D. Bei den komplexen Straßenbedingungen ist sein Rekonstruktionseffekt erheblich besser als herkömmliche Methoden, das erzeugte Bild ist mehr Treue und kann die Position der Fahrzeug- und Fahrspurleitungen genau wiederherstellen.
Kurz gesagt, die Entstehung von Dreameramer4D ist wie das Werfen einer Atombombe auf den Bereich der 4D -Szene -Rekonstruktion und explodiert direkt die technologische Decke. Damit werden die Forschung und Entwicklung des autonomen Fahrens effizienter, sicher und zuverlässiger sein.
Natürlich befindet sich Dreamer4D noch in der Forschungsphase und es gibt immer noch viele Dinge, die sich in Zukunft verbessern können. Aber ich glaube, dass sich die Technologie weiterentwickelt, sie stärker wird und letztendlich zu einem unverzichtbaren Bestandteil des autonomen Fahrens wird.
Papieradresse: https://arxiv.org/pdf/2410.13571
Projekt Homepage: https://drivedreamer4d.github.io/
Codeadresse: https://github.com/gigaai-research/drivedreamer4d
Die Entstehung des Dreamer4D -Frameworks hat revolutionäre Durchbrüche in die 4D -Szene -Rekonstruktionstechnologie gebracht, und seine Anwendungsaussichten im Bereich des autonomen Fahrens sind es wert, sich darauf freuen zu können. Obwohl es sich noch in der Forschungsphase befindet, zeigen seine leistungsstarken Leistung und die umfassenden Anwendungsaussichten, dass die autonome Fahrtechnologie in eine neue Höhe umgehen wird.