Jijia Technology baru -baru ini merilis kerangka rekonstruksi adegan mengemudi 4D yang disebut DrivedReamer4D. kondisi jalan. "Masalahnya. DrivedReamer4D secara efektif memperluas data pelatihan dan sangat meningkatkan ketahanan model dengan memperkenalkan model dunia.
Metode rekonstruksi adegan 4D tradisional terutama bergantung pada dua sekolah besar: NERF dan 3DG. NERF menggunakan jaringan saraf untuk membuat foto ke dalam model 3D, sementara 3DGS menggunakan fungsi Gaussian tiga dimensi untuk mensimulasikan objek dalam adegan. Namun, kedua metode sangat bergantung pada data pelatihan dan berkinerja buruk ketika berhadapan dengan kondisi jalan yang kompleks (seperti perubahan jalur, akselerasi, dan perlambatan). DrivedReamer4D memperkenalkan model dunia untuk memprediksi kemungkinan situasi di masa depan dan menghasilkan data video perspektif baru di bawah berbagai kondisi jalan yang kompleks, yang setara dengan menyediakan data pelatihan "kompensasi otak" untuk model rekonstruksi adegan 4D. Selain itu, modul generasi lintasan baru (NTGM) secara otomatis menghasilkan berbagai lintasan baru yang sesuai dengan aturan lalu lintas, dan menggunakan model dunia untuk menghasilkan video dari perspektif yang sesuai, yang memungkinkan model merasa nyaman dalam berbagai kondisi jalan yang kompleks. Hasil eksperimen menunjukkan bahwa efek rekonstruksi dari drivedreamer4d dalam menangani kondisi jalan yang kompleks secara signifikan lebih baik daripada metode tradisional, gambar yang dihasilkan lebih kesetiaan, dan secara akurat dapat mengembalikan lokasi jalur kendaraan dan jalur. Munculnya drivedreamer4d diharapkan untuk secara signifikan meningkatkan efisiensi, keamanan dan keandalan penelitian dan pengembangan dan pengujian mengemudi otonom.
Tetapi kedua metode memiliki kelemahan yang fatal: mereka terlalu mengandalkan data pelatihan! Oleh karena itu, ketika menghadapi kondisi jalan yang kompleks, seperti perubahan jalur, akselerasi, dan perlambatan, mereka rentan terhadap terbalik.
Untuk menyelesaikan masalah ini, Jijia Technology telah meluncurkan pembunuh besar - DrivedReamer4D kali ini. Singkatnya, hal ini adalah menambahkan plug-in AI-Model dunia ke rekonstruksi adegan 4D.
Anda dapat memahami model dunia sebagai otak AI yang dapat memprediksi apa yang mungkin terjadi di masa depan berdasarkan data yang ada. DrivedReamer4D menggunakan model dunia untuk menghasilkan data video perspektif baru di bawah berbagai kondisi jalan yang kompleks, yang setara dengan memberi makan model pelatihan "kompensasi otak" "yang kompensasi otak", sehingga dapat diketahui dan tidak lagi gagal.
Yang lebih mengagumkan adalah bahwa DrivedReamer4D juga secara khusus merancang Modul Pembuatan Lagu Baru (NTGM). Hal ini dapat secara otomatis menghasilkan berbagai lintasan baru yang memenuhi aturan lalu lintas, seperti perubahan jalur, akselerasi, perlambatan, dll., Dan kemudian menggunakan model dunia untuk menghasilkan video dari perspektif yang sesuai, yang setara dengan meminta "siswa sekolah" untuk mereka Model Rekonstruksi Adegan 4D.
Hasil eksperimen juga membuktikan kekuatan drivedreamer4d. Saat berhadapan dengan kondisi jalan yang kompleks, efek rekonstruksi secara signifikan lebih baik daripada metode tradisional, gambar yang dihasilkan lebih kesetiaan, dan dapat secara akurat mengembalikan lokasi jalur kendaraan dan jalur.
Singkatnya, kemunculan drivedreamer4d seperti melempar bom nuklir di bidang rekonstruksi adegan 4D, secara langsung meledak plafon teknologi. Dengan itu, penelitian dan pengembangan dan pengujian mengemudi otonom akan lebih efisien, aman dan dapat diandalkan.
Tentu saja, DrivedReamer4D masih dalam tahap penelitian dan masih ada banyak hal untuk ditingkatkan di masa depan. Tetapi saya percaya bahwa ketika teknologi terus berkembang, itu akan menjadi lebih kuat dan pada akhirnya menjadi bagian yang sangat diperlukan dari bidang mengemudi otonom.
Alamat kertas: https://arxiv.org/pdf/2410.13571
Homepage Proyek: https://drivedreamer4d.github.io/
Alamat Kode: https://github.com/gigaai-research/drivedreamer4d
Munculnya kerangka kerja drivedreamer4d telah membawa terobosan revolusioner ke teknologi rekonstruksi adegan 4D, dan prospek aplikasinya di bidang mengemudi otonom layak untuk dinanti. Meskipun masih dalam tahap penelitian, kinerja yang kuat dan prospek aplikasi yang luas menunjukkan bahwa teknologi mengemudi yang otonom akan bergerak ke ketinggian baru.