Sebuah tim peneliti di Universitas Carnegie Mellon baru-baru ini merilis teknologi terobosan - DressRecon, yang dapat merekonstruksi model 3D tubuh manusia yang konsisten dan mendetail dari waktu ke waktu dari video bermata. Berbeda dari metode rekonstruksi tubuh manusia sebelumnya yang memerlukan pakaian ketat atau data multi-tampilan, DressRecon dapat menangani adegan mengenakan pakaian longgar atau bahkan memegang benda, memperluas cakupan aplikasi dan membawa inovasi ke bidang-bidang seperti pembuatan gambar virtual dan produksi animasi. Editor Downcodes akan memberi Anda pemahaman mendalam tentang teknologi yang mengesankan ini.
Baru-baru ini, tim peneliti di Universitas Carnegie Mellon merilis teknologi baru yang disebut "DressRecon" yang bertujuan untuk merekonstruksi model manusia yang konsisten dengan waktu dari video monokuler. Hal hebat tentang DressRecon adalah Anda tidak hanya dapat memasukkan video untuk membuat model 3D, tetapi juga dapat mengembalikan detail halus seperti pakaian rumit dan barang-barang genggam.
Teknologi ini sangat cocok untuk skenario di mana Anda mengenakan pakaian longgar atau berinteraksi dengan benda genggam, sehingga melampaui keterbatasan teknologi sebelumnya. Di masa lalu, rekonstruksi tubuh manusia biasanya memerlukan pakaian ketat, atau memerlukan kalibrasi multi-tampilan untuk menangkap data, atau bahkan pemindaian yang dipersonalisasi, yang sulit dikumpulkan dalam skala besar.
Inovasi "DressRecon" adalah menggabungkan pengetahuan umum tentang bentuk tubuh manusia dan deformasi tubuh spesifik video, dan dapat dioptimalkan dalam video.
Inti dari teknologi ini adalah mempelajari model implisit saraf yang dapat menangani deformasi tubuh dan pakaian secara terpisah dan membentuk lapisan model gerak secara terpisah.
Untuk menangkap fitur geometris halus pada pakaian, tim peneliti memanfaatkan pengetahuan sebelumnya berdasarkan gambar, termasuk postur manusia, permukaan normal, dan aliran optik. Informasi ini memberikan dukungan tambahan selama proses optimasi, sehingga membuat efek rekonstruksi menjadi lebih realistis.
DressRecon mampu mengekstrak model 3D dengan ketelitian tinggi dari satu input video, dan bahkan dapat dioptimalkan lebih lanjut menjadi Gaussians 3D eksplisit untuk meningkatkan kualitas rendering dan mendukung visualisasi interaktif.
Para peneliti mendemonstrasikan efek rekonstruksi 3D dengan ketelitian tinggi yang dapat dicapai DressRecon pada beberapa kumpulan data deformasi pakaian dan interaksi objek yang menantang.
Selain itu, gambar manusia virtual yang direkonstruksi dapat ditampilkan dari sudut mana pun, sehingga menunjukkan efek visual yang sangat berdampak. Tim juga membandingkan kinerja DressRecon dengan beberapa teknologi dasar dalam rekonstruksi bentuk. Hasilnya menunjukkan bahwa DressRecon menunjukkan ketelitian yang lebih tinggi saat memproses struktur cacat yang kompleks.
Pintu masuk proyek: https://jefftan969.github.io/dressrecon/
Menyorot:
? Tim peneliti meluncurkan teknologi DressRecon untuk mencapai rekonstruksi tubuh manusia berkualitas tinggi melalui video bermata, terutama cocok untuk adegan dengan pakaian longgar dan benda genggam.
? Memanfaatkan model implisit saraf, teknologi ini menangani deformasi tubuh dan pakaian secara terpisah, dan menangkap fitur geometris halus dengan bantuan pengetahuan dasar gambar sebelumnya.
? Hasil rekonstruksi tidak hanya dapat menghasilkan model tiga dimensi dengan ketelitian tinggi, tetapi juga mendukung rendering dari sudut mana pun, sehingga meningkatkan pengalaman visualisasi.
Munculnya teknologi DressRecon tidak diragukan lagi akan mendorong kemajuan besar dalam pengembangan teknologi pemodelan tubuh manusia 3D. Fitur-fiturnya yang efisien dan nyaman, serta kemampuan pemrosesan yang luar biasa untuk adegan kompleks, menghadirkan kemungkinan tak terbatas di bidang realitas virtual, produksi animasi, pengembangan game, dan bidang lainnya di masa depan. Kami menantikan teknologi ini mewujudkan potensi besarnya dalam lebih banyak skenario aplikasi!