See3D, model generasi 3D terbaru yang dirilis oleh Beijing Zhiyuan Artificial Intelligence Research Institute (BAAI), telah mencapai terobosan teknologi dalam menggunakan video Internet besar-besaran tanpa label untuk menghasilkan adegan 3D. Model ini tidak perlu bergantung pada parameter kamera tradisional dan anotasi 3D. Model ini dapat menghasilkan gambar multi-tampilan dengan arah kamera yang dapat dikontrol dan geometri yang konsisten hanya dengan menggunakan petunjuk visual dalam video, sehingga sangat mengurangi biaya dan kesulitan pengumpulan data 3D. See3D mendukung berbagai metode pembuatan 3D, termasuk pembuatan berbasis teks, tampilan tunggal, dan tampilan jarang, serta mampu mengedit 3D dan rendering Gaussian. Rentang aplikasinya mencakup banyak bidang seperti dunia interaktif 3D, rekonstruksi 3D, dan dunia terbuka Generasi 3D Menunjukkan potensi aplikasi yang kuat. Kode model dan demo telah bersumber terbuka untuk memfasilitasi eksplorasi dan penerapan lebih lanjut oleh para peneliti.
Pelatihan model See3D didasarkan pada kumpulan data WebVi3D yang berisi 16 juta klip video dan 320 juta bingkai gambar. Dengan menambahkan noise yang bergantung pada waktu ke data video yang disamarkan, generasi 3D tanpa kamera dapat dicapai. Keunggulannya terletak pada skalabilitas data, kemampuan kontrol kamera, dan konsistensi geometris. Ini dapat menghasilkan pemandangan di bawah lintasan kamera yang kompleks dan menjaga konsistensi geometris dari tampilan bingkai sebelumnya dan berikutnya. See3D memberikan ide-ide baru untuk pengembangan teknologi generasi 3D, yang diharapkan dapat meningkatkan perhatian komunitas riset 3D terhadap data anotasi tanpa kamera berskala besar dan mempersempit kesenjangan dengan solusi 3D sumber tertutup yang ada. Alamat proyek: https://vision.baai.ac.cn/see3d
Melalui desain yang cerdas, model See3D memecahkan masalah tingginya biaya pengumpulan data 3D tradisional dan memberikan solusi yang lebih nyaman dan efisien untuk pembuatan konten 3D. Sifatnya yang open source juga mendorong lebih banyak peneliti untuk berpartisipasi dan bersama-sama mendorong kemajuan teknologi generasi 3D. Saya yakin kemunculan See3D akan berdampak besar pada bidang penglihatan 3D.