Tim peneliti dari Universitas Toronto dan Vector Institute baru-baru ini merilis model CAP4D, sebuah terobosan teknologi pembuatan avatar 4D. Hal ini didasarkan pada model difusi multi-tampilan yang dapat dideformasi (MMDM) dan dapat menghasilkan avatar 4D yang realistis dan dapat dikontrol secara real-time dari sejumlah gambar referensi, secara signifikan meningkatkan efek rekonstruksi avatar dan presentasi detail. Teknologi ini tidak hanya dapat memproses satu atau sejumlah kecil gambar referensi, namun bahkan dapat menghasilkan avatar dari perintah teks atau karya seni, yang menunjukkan kemampuan adaptasi dan generatifnya yang kuat. Metode dua tahapnya pertama-tama menggunakan MMDM untuk menghasilkan gambar dengan perspektif dan ekspresi berbeda, lalu menggabungkan gambar referensi untuk merekonstruksi avatar 4D. Metode ini mendukung kombinasi dengan model pengeditan gambar yang ada dan model animasi berbasis suara untuk mencapai interaksi yang lebih kaya dan efek dinamis, dan menyediakan avatar virtual. Aplikasi membuka kemungkinan baru.
Model ini mengadopsi metode dua tahap, pertama menggunakan MMDM untuk menghasilkan gambar dengan perspektif dan ekspresi berbeda, lalu menggabungkan gambar yang dihasilkan dengan gambar referensi untuk merekonstruksi avatar 4D yang dapat dikontrol secara real time. Pengguna dapat memasukkan sejumlah gambar referensi, dan model akan menggunakan informasi gambar ini untuk menghasilkan avatar 4D berkualitas tinggi, dan mendukung kombinasi dengan model animasi berbasis suara untuk mencapai efek dinamis berbasis audio. Kemunculan model CAP4D menandai kemajuan signifikan dalam teknologi pembuatan avatar 4D, yang memiliki prospek penerapan luas di berbagai bidang seperti realitas virtual, game, dan metaverse.
Tim peneliti mendemonstrasikan berbagai avatar yang dihasilkan oleh CAP4D, mencakup satu gambar referensi, sejumlah kecil gambar referensi, dan skenario yang lebih menantang dalam menghasilkan avatar dari petunjuk teks atau karya seni. Dengan menggunakan beberapa gambar referensi, model ini mampu memulihkan detail dan geometri yang tidak dapat dilihat dalam satu gambar, sehingga meningkatkan kinerja rekonstruksi. Selain itu, CAP4D juga memiliki kemampuan untuk digabungkan dengan model pengeditan gambar yang ada, sehingga memungkinkan pengguna untuk mengedit tampilan dan pencahayaan avatar yang dihasilkan.
Untuk lebih meningkatkan ekspresi avatar, CAP4D dapat menggabungkan avatar 4D yang dihasilkan dengan model animasi berbasis suara untuk mencapai efek animasi berbasis audio. Hal ini memungkinkan avatar tidak hanya menampilkan efek visual statis, tetapi juga berinteraksi secara dinamis dengan pengguna melalui suara, menciptakan bidang baru aplikasi avatar virtual.
Menyorot:
Model CAP4D dapat menghasilkan avatar 4D berkualitas tinggi dari sejumlah gambar referensi, menggunakan alur kerja dua tahap.
Teknologi ini dapat menghasilkan avatar dari berbagai sudut pandang berbeda, sehingga secara signifikan meningkatkan efek rekonstruksi gambar dan presentasi detail.
CAP4D dikombinasikan dengan model animasi berbasis suara untuk mewujudkan avatar dinamis berbasis audio dan memperluas skenario penerapan avatar virtual.
Secara keseluruhan, model CAP4D telah membuat terobosan signifikan di bidang pembuatan avatar 4D, dan fitur-fiturnya yang efisien, realistis, dan multi-fungsi telah membawa kemungkinan-kemungkinan baru di bidang-bidang seperti realitas virtual dan hiburan digital. Kedepannya, teknologi ini diharapkan dapat berkembang lebih jauh untuk memberikan pengalaman interaktif virtual yang lebih nyaman dan realistis kepada pengguna.