ByteDance dan peneliti dari Universitas Sains dan Teknologi Shanghai bersama-sama mengembangkan teknologi inovatif yang disebut "HeadGAP" yang dapat dengan cepat menghasilkan model kepala manusia virtual 3D yang realistis dan dapat dianimasikan hanya dengan menggunakan tiga foto orang target dari sudut berbeda. Teknologi ini mendobrak ketergantungan pemodelan 3D tradisional pada data dalam jumlah besar dan operasi kompleks, menghadirkan kemudahan yang belum pernah terjadi sebelumnya dalam pembuatan karakter virtual, dan memiliki kemampuan penyesuaian personal yang sangat tinggi. Melalui informasi kepala 3D sebelumnya yang dikumpulkan dalam tahap "pembelajaran sebelumnya", HeadGAP dapat secara efisien menghasilkan avatar virtual yang mengembalikan karakteristik karakter target dengan sangat baik, dan mendukung sinkronisasi ekspresi wajah berdasarkan video referensi.
Baru-baru ini, peneliti dari ByteDance dan ShanghaiTech University mengembangkan penelitian yang disebut "HeadGAP" yang menarik perhatian semua orang. Tim peneliti mengusulkan metode baru yang hanya dapat menggunakan tiga gambar dari perspektif berbeda dari orang yang dituju gambar kepala manusia virtual 3D yang realistis dan dapat dianimasikan, dan menyinkronkan ekspresi wajah berdasarkan video referensi.
Tim peneliti mendemonstrasikan cara membuat avatar yang dipersonalisasi dengan sejumlah kecil data dalam skenario nyata. Dalam penelitian ini, peneliti terlebih dahulu melakukan tahapan yang disebut “prior learning”. Pada tahap ini, mereka mengekstrak informasi sebelumnya tentang kepala 3D dari kumpulan data dinamis multi-tampilan yang besar. Informasi sebelumnya ini dapat membantu sistem memahami berbagai fitur dan ekspresi kepala. Kemudian, pada tahap "pembuatan avatar", peneliti menggunakan informasi sebelumnya ini untuk melakukan penyesuaian yang dipersonalisasi dan menghasilkan avatar virtual dari orang yang dituju.
Seluruh proses menggunakan jaringan self-decoding berdasarkan point cloud Gaussian, dikombinasikan dengan pemodelan dinamis parsial. Dengan cara ini, sistem dapat dengan cepat menangkap keunikan setiap individu dan melakukan optimalisasi avatar yang dipersonalisasi berdasarkan ini. Tim juga menggunakan beberapa cara teknis, seperti strategi inversi dan penyesuaian, untuk membuat proses personalisasi avatar lebih efisien, dan pada akhirnya berhasil mencapai efek rendering tingkat foto dan konsistensi multi-tampilan.
Dalam percobaan, tim peneliti mendemonstrasikan kinerja metode mereka dalam skenario yang berbeda. Hasilnya menunjukkan bahwa avatar 3D yang dihasilkan dapat mempertahankan efek animasi berkualitas tinggi dan stabil baik di lingkungan terkendali maupun di lingkungan nyata. Pencapaian ini tidak hanya memiliki prospek penerapan yang luas dalam jejaring sosial virtual, pengembangan game, dan bidang lainnya, namun juga memberikan ide dan metode baru untuk produksi avatar 3D yang dipersonalisasi.
Pintu masuk produk: https://top.aibase.com/tool/headgap
Menyorot:
Tim peneliti menggunakan metode "HeadGAP" untuk membuat gambar virtual kepala 3D yang realistis hanya dengan beberapa foto.
Metode ini menggunakan jaringan titik Gaussian dan teknologi pemodelan dinamis untuk mencapai penyesuaian yang dipersonalisasi dan optimalisasi avatar.
Hasil eksperimen menunjukkan bahwa avatar yang dihasilkan memiliki kualitas rendering dan performa animasi yang sangat baik, serta cocok untuk berbagai skenario aplikasi.
Kemunculan teknologi HeadGAP menandai tonggak baru dalam teknologi pembuatan potret virtual 3D. Efisiensi, kenyamanan, dan fidelitasnya yang tinggi pasti akan membawa dampak revolusioner pada bidang-bidang seperti realitas virtual dan metaverse. Di masa depan, kami berharap teknologi ini dapat digunakan di lebih banyak bidang untuk menghadirkan pengalaman virtual yang lebih realistis dan personal bagi masyarakat.