Saat ini, dengan pesatnya perkembangan teknologi virtual reality dan augmented reality, cara membuat avatar digital 3D yang realistis, alami, dan mudah dioperasikan telah menjadi topik penelitian yang hangat. Teknologi ExAvatar yang diluncurkan bersama oleh DGIST dan Codec Avatars Lab Meta memberi kami solusi baru. Ini dapat dengan cepat menghasilkan avatar 3D seperti aslinya yang dapat meniru gerakan seluruh tubuh pengguna, ekspresi wajah dan postur tangan melalui pemindaian ponsel sederhana, dan mencapai kinerja dinamis berkualitas tinggi dan efek rendering melalui algoritma dan teknologi canggih, menyediakan platform yang kuat untuk bidang Metaverse.
Di era digital, teknologi virtual reality (VR) dan augmented reality (AR) secara bertahap mengubah cara kita hidup dan bekerja. Bayangkan bisa membuat avatar 3D yang meniru setiap gerakan dan ekspresi Anda.
ExAvatar, yang dikembangkan bersama oleh DGIST dan Codec Avatars Lab Meta, mengubah imajinasi ini menjadi kenyataan. Teknologi ini menangkap gerakan seluruh tubuh, ekspresi wajah, dan bahkan gerakan tangan Anda melalui video dan mengubahnya menjadi gambar digital 3D yang nyata.
Dua inovasi ExAvatar: Pertama, menggunakan model mesh parametrik seluruh tubuh SMPL-X untuk menangkap dan mereproduksi berbagai postur tubuh manusia secara akurat, kedua, dikombinasikan dengan teknologi sputtering 3D Gaussian (3DGS), menjadikan ExAvatar lebih realistis dan efisien; kemampuan rendering.
Fungsi inti:
Driver 3D seluruh tubuh: mendukung animasi komprehensif pada tubuh, tangan dan wajah, menghasilkan berbagai pose dan ekspresi.
Representasi hibrid: menggabungkan 3D Gaussian dan mesh permukaan untuk memastikan konsistensi geometris dan tampilan serta mengurangi artefak.
Pengambilan mudah: Anda dapat membuat avatar 3D dengan memindai menggunakan ponsel Anda dalam waktu singkat, dan pengoperasiannya sederhana.
Render berkualitas tinggi: Gunakan algoritme dan teknologi canggih untuk mencapai performa dinamis dan efek rendering berkualitas tinggi.
Lebih baik dari teknologi yang ada: Teknologi ini melampaui teknologi generasi avatar 3D sebelumnya dalam hal pergerakan dan penampilan alami, dan dapat beradaptasi dengan skenario aplikasi yang lebih luas.
ExAvatar memecahkan beberapa tantangan teknologi sebelumnya, seperti kurangnya keragaman ekspresi wajah dan pose, serta kurangnya data pengamatan seperti pemindaian 3D dan gambar kedalaman. Dengan memadukan representasi, ExAvatar meningkatkan kealamian animasi dan mengurangi artefak yang dapat muncul dalam pose baru.
Sebelum melatih ExAvatar, tim peneliti bersama-sama mendaftarkan tubuh, tangan dan wajah dengan model SMPL-X, memperkenalkan offset sendi dan offset wajah, mengoptimalkan panjang tulang tangan dan bentuk area wajah, serta meningkatkan ekspresi dan kealamian avatar.
Arsitektur teknis ExAvatar mengekstrak fitur setiap Gaussian dan memprosesnya melalui multi-layer perceptron (MLP), dikombinasikan dengan grid standar untuk membentuk avatar 3D yang dapat dianimasikan dalam ruang standar. Algoritma linear blending interpolation (LBS) digunakan untuk pemrosesan animasi, dan avatar ditampilkan ke layar dengan bantuan teknologi 3DGS, memastikan efek visual berkualitas tinggi.
Kenyamanan ExAvatar tercermin dalam kenyataan bahwa pengguna dapat membuat avatar 3D dengan pemindaian ponsel sederhana, mendukung animasi dengan pose tubuh, gerak tubuh dan ekspresi wajah yang baru, dan merender dari sudut pandang mana pun. Teknik ini menggunakan metode representasi hibrid yang memperlakukan setiap Gaussian 3D sebagai simpul permukaan, dengan konektivitas yang telah ditentukan sebelumnya antara simpul-simpul ini, sesuai dengan topologi mesh SMPL-X.
Alamat proyek: https://top.aibase.com/tool/exavatar
Alamat makalah: https://arxiv.org/pdf/2407.21686
Dengan presisi tinggi, efisiensi, dan kemudahan penggunaannya, ExAvatar diharapkan dapat digunakan secara luas di berbagai bidang seperti realitas virtual, realitas tertambah, pengembangan game, dan pembuatan konten digital, sehingga memberikan pengalaman digital yang lebih mendalam dan interaktif kepada pengguna. Di masa depan, teknologi ini juga dapat memainkan peran penting dalam kolaborasi jarak jauh, pelatihan virtual, dan lain-lain.