Proyek EmoTalk3D telah membuat kemajuan terobosan di bidang kecerdasan buatan. Intinya terletak pada keberhasilan sintesis avatar berbicara 3D dengan ketelitian tinggi dan kaya emosi. Proyek ini memecahkan masalah teknologi yang ada dalam konsistensi multi-pandangan dan Ketidakcukupan dalam ekspresi emosional. Kerangka kerja ini dapat secara akurat memprediksi urutan geometris 3D, mensintesis tampilan avatar 3D berdasarkan representasi Gaussian 4D, dan pada akhirnya mencapai animasi avatar berbicara dengan tampilan bebas, di mana bahkan ekspresi halus dan kerutan dapat disajikan secara realistis.
Dapat dipahami bahwa tim peneliti proyek EmoTalk3D telah mengusulkan metode sintesis baru untuk mengatasi kekurangan teknologi avatar berbicara 3D saat ini dalam hal konsistensi multi-tampilan dan ekspresi emosional. Pendekatan ini tidak hanya memungkinkan peningkatan sinkronisasi bibir dan kualitas rendering, namun juga memungkinkan ekspresi emosional yang terkendali dalam avatar berbicara yang dihasilkan.
Tim peneliti merancang kerangka pemetaan "ucapan geometri hingga penampilan". Kerangka kerja ini pertama-tama memprediksi urutan geometris 3D yang sebenarnya dari fitur audio, lalu mensintesis tampilan kepala bicara 3D yang diwakili oleh Gaussian 4D berdasarkan geometri tersebut. Dalam proses ini, tampilan dipecah lebih lanjut menjadi komponen Gaussian kanonik dan dinamis, yang digabungkan melalui pembelajaran dari video multi-tayangan untuk merender animasi avatar berbicara dengan tampilan bebas.
Perlu disebutkan bahwa tim peneliti proyek EmoTalk3D juga berhasil memecahkan kesulitan metode sebelumnya dalam menangkap detail wajah yang dinamis, seperti tampilan kerutan dan ekspresi halus. Hasil percobaan menunjukkan bahwa metode ini memiliki keuntungan yang signifikan dalam menghasilkan avatar berbicara 3D dengan ketelitian tinggi dan dapat dikontrol secara emosional, sekaligus menunjukkan kualitas rendering dan stabilitas yang lebih baik dalam pembuatan gerakan bibir.
Saat ini, kode dan kumpulan data proyek EmoTalk3D telah dirilis di URL HTTPS yang ditunjuk untuk referensi dan digunakan oleh peneliti dan pengembang di seluruh dunia. Terobosan teknologi inovatif ini tidak diragukan lagi akan memberikan vitalitas baru ke dalam pengembangan bidang avatar berbicara 3D, dan diharapkan dapat digunakan di banyak bidang seperti realitas virtual, augmented reality, serta produksi film dan televisi di masa depan.
Keberhasilan proyek EmoTalk3D telah membawa kemungkinan baru pada produksi karakter digital 3D. Teknologi avatar 3D emosional dengan ketelitian tinggi akan membawa perubahan revolusioner pada bidang realitas virtual, realitas tertambah, serta produksi film dan televisi. Di masa depan, kita dapat menantikan munculnya lebih banyak produk dan aplikasi berdasarkan teknologi EmoTalk3D, yang memberikan pengalaman yang lebih mendalam kepada masyarakat.