ByteDance และนักวิจัยจากมหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีเซี่ยงไฮ้ร่วมกันพัฒนาเทคโนโลยีที่เป็นนวัตกรรมที่เรียกว่า "HeadGAP" ซึ่งสามารถสร้างแบบจำลองศีรษะมนุษย์เสมือนจริง 3 มิติที่สมจริงและเคลื่อนไหวได้อย่างรวดเร็ว โดยใช้รูปถ่ายของบุคคลเป้าหมายเพียง 3 รูปจากมุมที่ต่างกัน เทคโนโลยีนี้ทำลายการพึ่งพาข้อมูลจำนวนมากและการดำเนินการที่ซับซ้อนของการสร้างแบบจำลอง 3 มิติแบบดั้งเดิม นำความสะดวกสบายอย่างที่ไม่เคยมีมาก่อนมาสู่การสร้างตัวละครเสมือน และมีความสามารถในการปรับแต่งส่วนบุคคลที่สูงมาก ข้อมูลก่อนหน้าของส่วนหัว 3 มิติที่สะสมอยู่ในขั้นตอน "การเรียนรู้ล่วงหน้า" ทำให้ HeadGAP สามารถสร้างอวตารเสมือนที่ช่วยฟื้นฟูคุณลักษณะของตัวละครเป้าหมายได้อย่างมีประสิทธิภาพ และรองรับการซิงโครไนซ์การแสดงออกทางสีหน้าตามวิดีโออ้างอิง
เมื่อเร็วๆ นี้ นักวิจัยจาก ByteDance และ ShanghaiTech University ได้พัฒนาการศึกษาเรื่อง "HeadGAP" ซึ่งดึงดูดความสนใจของทุกคน ทีมวิจัยได้เสนอวิธีการใหม่ที่สามารถใช้รูปภาพในมุมมองที่แตกต่างกันของบุคคลเป้าหมายได้เพียง 3 ภาพเท่านั้น คุณสามารถสร้างภาพระดับสูงได้อย่างรวดเร็ว ภาพศีรษะมนุษย์เสมือนจริง 3 มิติที่สมจริงและเคลื่อนไหวได้ และซิงโครไนซ์การแสดงออกทางสีหน้าตามวิดีโออ้างอิง
ทีมวิจัยสาธิตวิธีสร้างอวตารส่วนบุคคลด้วยข้อมูลจำนวนเล็กน้อยในสถานการณ์จริง ในการศึกษานี้ ผู้วิจัยได้ดำเนินการขั้นตอนที่เรียกว่า "การเรียนรู้ล่วงหน้า" ก่อน ในขั้นตอนนี้ พวกเขาดึงข้อมูลก่อนหน้าเกี่ยวกับส่วนหัว 3D จากชุดข้อมูลไดนามิกแบบหลายมุมมองขนาดใหญ่ ข้อมูลก่อนหน้านี้สามารถช่วยให้ระบบเข้าใจลักษณะและสำนวนของศีรษะที่แตกต่างกันได้ จากนั้น ในขั้นตอน "การสร้างอวาตาร์" นักวิจัยจะใช้ข้อมูลก่อนหน้านี้เพื่อปรับแต่งส่วนบุคคล และสร้างอวตารเสมือนของบุคคลเป้าหมาย
กระบวนการทั้งหมดใช้เครือข่ายถอดรหัสตัวเองโดยใช้พอยต์คลาวด์แบบเกาส์เซียน รวมกับการสร้างแบบจำลองไดนามิกบางส่วน ด้วยวิธีนี้ ระบบสามารถจับภาพเอกลักษณ์ของแต่ละบุคคลได้อย่างรวดเร็ว และดำเนินการปรับแต่งอวาตาร์ส่วนบุคคลบนพื้นฐานนี้ ทีมงานยังใช้วิธีการทางเทคนิคบางอย่าง เช่น การกลับกันและกลยุทธ์การปรับแต่ง เพื่อทำให้กระบวนการปรับแต่งอวาตาร์ในแบบของคุณมีประสิทธิภาพมากขึ้น และท้ายที่สุดก็ประสบความสำเร็จในการบรรลุผลการเรนเดอร์ระดับภาพถ่ายและความสอดคล้องของหลายมุมมอง
ในการทดลอง ทีมวิจัยได้สาธิตประสิทธิภาพของวิธีการในสถานการณ์ต่างๆ ผลการวิจัยพบว่าอวตาร 3 มิติที่สร้างขึ้นสามารถรักษาคุณภาพและเอฟเฟกต์แอนิเมชั่นที่มีความเสถียรได้ ไม่ว่าจะอยู่ในสภาพแวดล้อมที่มีการควบคุมหรือในสภาพแวดล้อมจริง ความสำเร็จนี้ไม่เพียงแต่มีแนวโน้มการใช้งานในวงกว้างในเครือข่ายโซเชียลเสมือน การพัฒนาเกม และสาขาอื่นๆ แต่ยังให้แนวคิดและวิธีการใหม่ๆ สำหรับการผลิตอวตาร 3 มิติส่วนบุคคล
ทางเข้าผลิตภัณฑ์: https://top.aibase.com/tool/headgap
ไฮไลท์:
ทีมวิจัยใช้วิธี "HeadGAP" เพื่อสร้างภาพเสมือนจริงของศีรษะ 3 มิติที่สมจริงด้วยภาพถ่ายเพียงไม่กี่ภาพ
วิธีการนี้ใช้เครือข่ายจุดเกาส์เซียนและเทคโนโลยีการสร้างแบบจำลองแบบไดนามิกเพื่อให้บรรลุการปรับแต่งส่วนบุคคลและการเพิ่มประสิทธิภาพของอวตาร
ผลการทดลองแสดงให้เห็นว่าอวาตาร์ที่สร้างขึ้นมีคุณภาพการเรนเดอร์และประสิทธิภาพแอนิเมชั่นที่ยอดเยี่ยม และเหมาะสำหรับสถานการณ์การใช้งานที่หลากหลาย
การเกิดขึ้นของเทคโนโลยี HeadGAP นับเป็นความสำเร็จครั้งใหม่ในเทคโนโลยีการสร้างภาพบุคคลเสมือนจริง 3 มิติ ประสิทธิภาพ ความสะดวก และความเที่ยงตรงสูงของเทคโนโลยีนี้จะนำมาซึ่งการเปลี่ยนแปลงครั้งใหญ่ในสาขาต่างๆ เช่น ความเป็นจริงเสมือน และ metaverse ในอนาคต เราสามารถคาดหวังได้ว่าเทคโนโลยีนี้จะถูกนำไปใช้ในสาขาต่างๆ มากขึ้น เพื่อให้ผู้คนได้รับประสบการณ์เสมือนจริงที่สมจริงและเป็นส่วนตัวมากขึ้น