Institut Kecerdasan Buatan Zhiyuan Beijing (BAAI) telah merilis terobosan model generasi 3D, See3D, yang menggunakan video Internet besar-besaran tanpa label untuk mempelajari dan merealisasikan pembuatan model 3D dari video, menandai "Lihat Video, Dapatkan Kemajuan besar dalam konsep 3D". Model See3D tidak perlu bergantung pada parameter kamera tradisional dan anotasi 3D. Melalui teknologi kondisi visual, model ini dapat menghasilkan gambar multi-tampilan dengan arah kamera yang dapat dikontrol dan geometri yang konsisten hanya dengan menggunakan petunjuk visual dalam video, sehingga sangat mengurangi biaya dan kesulitan. memperoleh data 3D, membawa kemungkinan baru pada teknologi generasi 3D.
Model See3D mendukung pembuatan model 3D dari teks, tampilan tunggal dan tampilan jarang, serta memiliki fungsi pengeditan 3D dan rendering Gaussian. Model, kode, dan demo telah bersumber terbuka untuk memfasilitasi studi mendalam dan penerapan oleh para peneliti. See3D memiliki beragam skenario aplikasi, termasuk membuka dunia interaktif 3D, rekonstruksi 3D berdasarkan gambar yang jarang, pembuatan 3D dunia terbuka, dan pembuatan 3D berbasis tampilan tunggal. Keunggulan utamanya terletak pada skalabilitas data, kemampuan kontrol kamera, dan konsistensi geometris. Dengan membangun kumpulan data WebVi3D yang berisi 16 juta klip video dan 320 juta bingkai gambar, perusahaan ini telah mencapai peningkatan signifikan dalam teknologi generasi 3D.
Tim peneliti membuat kumpulan data WebVi3D berskala besar dengan memfilter data video secara otomatis, dan dengan menambahkan noise yang bergantung pada waktu ke data video yang disamarkan, menghasilkan sinyal visual 2D murni untuk mendukung pelatihan model difusi multi-tampilan yang dapat diskalakan, yang pada akhirnya mencapai 3D tanpa kamera pembangkitan kondisi. Kemunculan See3D telah membawa ide-ide baru ke bidang generasi 3D, yang diharapkan dapat mendorong penerapan data anotasi tanpa kamera berskala besar dalam penelitian 3D, mengurangi biaya pengumpulan data 3D, dan mempersempit kesenjangan dengan teknologi tertutup yang sudah ada. -sumber solusi 3D.
Keunggulan See3D terletak pada skalabilitas data, kemampuan kontrol kamera, dan konsistensi geometris. Ia dapat menghasilkan pemandangan di bawah lintasan kamera kompleks apa pun dan menjaga konsistensi geometris tampilan bingkai depan dan belakang. Hal ini membuat See3D dapat diterapkan secara luas dalam berbagai aplikasi pembuatan 3D.
Dengan memperluas skala kumpulan data, See3D memberikan ide-ide baru untuk pengembangan teknologi generasi 3D. Karya ini diharapkan dapat meningkatkan perhatian komunitas riset 3D terhadap data anotasi tanpa kamera berskala besar, dan mengurangi biaya pengumpulan data 3D. , dan memperkecil Kesenjangan yang ada antara solusi 3D sumber tertutup.
Alamat proyek: https://vision.baai.ac.cn/see3d
Secara keseluruhan, rilis open source model See3D telah membawa terobosan teknologi baru dan arah pengembangan di bidang generasi 3D. Fitur-fiturnya yang efisien dan nyaman akan membawa inovasi ke lebih banyak skenario aplikasi masa depan. dan aplikasi.