โครงการ EmoTalk3D มีความก้าวหน้าอย่างมากในด้านปัญญาประดิษฐ์ โดยแกนหลักอยู่ที่การสังเคราะห์อวาตาร์พูด 3 มิติที่มีความเที่ยงตรงสูงและเต็มไปด้วยอารมณ์ โครงการนี้แก้ปัญหาของเทคโนโลยีที่มีอยู่ในความสอดคล้องของหลายมุมมองและความไม่เพียงพอในการแสดงออกทางอารมณ์ เฟรมเวิร์กสามารถทำนายลำดับเรขาคณิต 3 มิติได้อย่างแม่นยำ สังเคราะห์ลักษณะที่ปรากฏของอวาตาร์ 3 มิติโดยอาศัยการแสดง 4D Gaussian และท้ายที่สุดก็บรรลุแอนิเมชั่นอวาตาร์พูดคุยแบบดูฟรี ซึ่งแม้แต่การแสดงออกและรอยย่นที่ละเอียดอ่อนก็สามารถนำเสนอได้อย่างสมจริง
เป็นที่เข้าใจกันว่าทีมวิจัยของโครงการ EmoTalk3D ได้เสนอวิธีการสังเคราะห์ใหม่เพื่อแก้ไขข้อบกพร่องของเทคโนโลยีอวาตาร์การพูดคุยแบบ 3 มิติในปัจจุบัน ในแง่ของความสอดคล้องหลายมุมมองและการแสดงออกทางอารมณ์ วิธีการนี้ไม่เพียงแต่ช่วยให้การซิงโครไนซ์ริมฝีปากและคุณภาพการเรนเดอร์ดีขึ้นเท่านั้น แต่ยังช่วยให้สามารถแสดงอารมณ์ที่ควบคุมได้ในอวตารการพูดคุยที่สร้างขึ้นอีกด้วย
ทีมวิจัยได้ออกแบบกรอบการทำงานการทำแผนที่ "คำพูดต่อเรขาคณิตสู่รูปลักษณ์" ขั้นแรกเฟรมเวิร์กจะคาดการณ์ลำดับเรขาคณิต 3 มิติที่เที่ยงตรงจากคุณสมบัติด้านเสียง จากนั้นจึงสังเคราะห์ลักษณะที่ปรากฏของหัวพูด 3 มิติที่แสดงโดย 4D Gaussian ตามรูปทรงเรขาคณิตเหล่านี้ ในกระบวนการนี้ ลักษณะที่ปรากฏจะถูกแยกย่อยเพิ่มเติมเป็นองค์ประกอบแบบเกาส์เซียนตามรูปแบบบัญญัติและไดนามิก ซึ่งหลอมรวมผ่านการเรียนรู้จากวิดีโอหลายมุมมองเพื่อสร้างแอนิเมชันอวาตาร์พูดแบบดูฟรี
เป็นที่น่าสังเกตว่าทีมวิจัยของโครงการ EmoTalk3D ยังประสบความสำเร็จในการแก้ปัญหาความยากของวิธีการก่อนหน้านี้ในการจับภาพรายละเอียดใบหน้าแบบไดนามิก เช่น การแสดงริ้วรอยและการแสดงออกทางสีหน้าที่ละเอียดอ่อน ผลการทดลองแสดงให้เห็นว่าวิธีการนี้มีข้อได้เปรียบที่สำคัญในการสร้างอวาตาร์พูด 3 มิติที่มีความเที่ยงตรงสูงและควบคุมอารมณ์ได้ ขณะเดียวกันก็แสดงคุณภาพการเรนเดอร์และความเสถียรที่ดีขึ้นในการสร้างการเคลื่อนไหวของริมฝีปาก
ปัจจุบัน รหัสและชุดข้อมูลของโครงการ EmoTalk3D ได้รับการเผยแพร่ใน HTTPS URL ที่กำหนดไว้สำหรับการอ้างอิงและใช้งานโดยนักวิจัยและนักพัฒนาทั่วโลก ความก้าวหน้าทางเทคโนโลยีเชิงนวัตกรรมนี้จะช่วยเติมพลังใหม่ให้กับการพัฒนาด้านอวาตาร์พูดได้ 3 มิติอย่างไม่ต้องสงสัย และคาดว่าจะนำไปใช้ในหลายสาขา เช่น ความเป็นจริงเสมือน ความเป็นจริงเสริม และการผลิตภาพยนตร์และโทรทัศน์ในอนาคต
ความสำเร็จของโครงการ EmoTalk3D ได้นำความเป็นไปได้ใหม่ๆ มาสู่การผลิตตัวละครดิจิทัล 3 มิติที่มีความแม่นยำสูง เทคโนโลยีอวาตาร์ 3 มิติที่สื่ออารมณ์ได้ จะนำการเปลี่ยนแปลงที่ปฏิวัติวงการในด้านความเป็นจริงเสมือน ความเป็นจริงเสริม และการผลิตภาพยนตร์และโทรทัศน์ ในอนาคต เราสามารถตั้งตารอที่จะมีผลิตภัณฑ์และแอพพลิเคชั่นเพิ่มเติมที่ใช้เทคโนโลยี EmoTalk3D ซึ่งจะทำให้ผู้คนได้รับประสบการณ์ที่ดื่มด่ำมากขึ้น