ทีมวิจัยจากมหาวิทยาลัยโตรอนโตและสถาบัน Vector ได้เปิดตัวโมเดล CAP4D ซึ่งเป็นเทคโนโลยีการสร้างอวาตาร์ 4 มิติที่ล้ำสมัย มันใช้แบบจำลองการแพร่กระจายหลายมุมมอง (MMDM) ที่ปรับเปลี่ยนรูปแบบได้ และสามารถสร้างอวตาร 4 มิติที่สมจริงและควบคุมได้แบบเรียลไทม์จากรูปภาพอ้างอิงจำนวนเท่าใดก็ได้ ซึ่งช่วยปรับปรุงเอฟเฟกต์การสร้างอวาตาร์ใหม่และการนำเสนอรายละเอียดได้อย่างมาก เทคโนโลยีนี้ไม่เพียงแต่สามารถประมวลผลภาพอ้างอิงเพียงภาพเดียวหรือจำนวนเล็กน้อยเท่านั้น แต่ยังสามารถสร้างอวตารจากข้อความแจ้งหรืองานศิลปะได้ ซึ่งแสดงให้เห็นถึงความสามารถในการปรับตัวที่แข็งแกร่งและความสามารถในการสร้างสรรค์ วิธีการสองขั้นตอนแรกใช้ MMDM เพื่อสร้างภาพที่มีมุมมองและการแสดงออกที่แตกต่างกัน จากนั้นจึงรวมภาพอ้างอิงเพื่อสร้างอวาตาร์ 4 มิติขึ้นมาใหม่ โดยรองรับการใช้งานร่วมกับโมเดลการแก้ไขภาพที่มีอยู่และโมเดลแอนิเมชั่นที่ขับเคลื่อนด้วยเสียง เพื่อให้เกิดการโต้ตอบและเอฟเฟกต์ไดนามิกที่สมบูรณ์ยิ่งขึ้น และ ให้อวตารเสมือนเปิดโอกาสใหม่ ๆ
แบบจำลองใช้วิธีการสองขั้นตอน ขั้นแรกใช้ MMDM เพื่อสร้างภาพที่มีมุมมองและการแสดงออกที่แตกต่างกัน จากนั้นจึงรวมภาพที่สร้างขึ้นเหล่านี้เข้ากับภาพอ้างอิงเพื่อสร้างอวาตาร์ 4 มิติขึ้นมาใหม่ที่สามารถควบคุมได้แบบเรียลไทม์ ผู้ใช้สามารถป้อนรูปภาพอ้างอิงจำนวนเท่าใดก็ได้ และโมเดลจะใช้ข้อมูลรูปภาพเหล่านี้เพื่อสร้างอวตาร 4D คุณภาพสูง และรองรับการผสมผสานกับโมเดลแอนิเมชั่นที่ขับเคลื่อนด้วยเสียงเพื่อให้ได้เอฟเฟกต์ไดนามิกที่ขับเคลื่อนด้วยเสียง การเกิดขึ้นของโมเดล CAP4D ถือเป็นความก้าวหน้าที่สำคัญในเทคโนโลยีการสร้างอวตาร 4 มิติ ซึ่งมีแนวโน้มการใช้งานในวงกว้างในสาขาต่างๆ เช่น ความเป็นจริงเสมือน เกม และ metaverse
ทีมวิจัยได้สาธิตรูปประจำตัวต่างๆ ที่สร้างโดย CAP4D ครอบคลุมรูปภาพอ้างอิงเพียงรูปเดียว รูปภาพอ้างอิงจำนวนไม่มาก และสถานการณ์ที่ท้าทายมากขึ้นในการสร้างรูปประจำตัวจากข้อความแจ้งหรืออาร์ตเวิร์ค ด้วยการใช้ภาพอ้างอิงหลายภาพ โมเดลจึงสามารถกู้คืนรายละเอียดและรูปทรงเรขาคณิตที่ไม่สามารถมองเห็นได้ในภาพเดียว ซึ่งช่วยปรับปรุงประสิทธิภาพการสร้างใหม่ นอกจากนี้ CAP4D ยังมีความสามารถในการรวมเข้ากับโมเดลการแก้ไขรูปภาพที่มีอยู่ ทำให้ผู้ใช้สามารถแก้ไขรูปลักษณ์และแสงของอวตารที่สร้างขึ้นได้
เพื่อปรับปรุงการแสดงออกของอวตารให้ดียิ่งขึ้น CAP4D สามารถรวมอวตาร 4D ที่สร้างขึ้นกับโมเดลแอนิเมชั่นที่ขับเคลื่อนด้วยเสียงเพื่อให้ได้เอฟเฟกต์แอนิเมชั่นที่ขับเคลื่อนด้วยเสียง สิ่งนี้ทำให้อวตารไม่เพียงแต่แสดงเอฟเฟ็กต์ภาพแบบคงที่เท่านั้น แต่ยังโต้ตอบกับผู้ใช้ผ่านเสียงแบบไดนามิก ทำให้เกิดแอปพลิเคชันอวตารเสมือนรูปแบบใหม่
ไฮไลท์:
โมเดล CAP4D สามารถสร้างอวตาร 4D คุณภาพสูงจากรูปภาพอ้างอิงจำนวนเท่าใดก็ได้ โดยใช้ขั้นตอนการทำงานแบบสองขั้นตอน
เทคโนโลยีนี้สามารถสร้างอวตารจากมุมมองที่แตกต่างกันได้ ช่วยปรับปรุงเอฟเฟ็กต์การสร้างภาพใหม่และการนำเสนอรายละเอียดได้อย่างมาก
CAP4D ถูกรวมเข้ากับโมเดลแอนิเมชั่นที่ขับเคลื่อนด้วยเสียงเพื่อสร้างอวตารแบบไดนามิกที่ขับเคลื่อนด้วยเสียง และขยายสถานการณ์การใช้งานของอวตารเสมือน
โดยรวมแล้ว โมเดล CAP4D ได้สร้างความก้าวหน้าครั้งสำคัญในด้านการสร้างอวาตาร์ 4 มิติ และฟีเจอร์ที่มีประสิทธิภาพ สมจริง และใช้งานได้หลากหลาย ได้นำความเป็นไปได้ใหม่ๆ มาสู่สาขาต่างๆ เช่น ความเป็นจริงเสมือน และความบันเทิงดิจิทัล ในอนาคต เทคโนโลยีนี้คาดว่าจะพัฒนาเพิ่มเติมเพื่อให้ผู้ใช้ได้รับประสบการณ์การโต้ตอบเสมือนจริงที่สะดวกและสมจริงยิ่งขึ้น