ปัจจุบัน ด้วยการพัฒนาอย่างรวดเร็วของความเป็นจริงเสมือนและเทคโนโลยีความเป็นจริงเสริม การสร้างอวตารดิจิทัล 3 มิติที่สมจริง เป็นธรรมชาติ และใช้งานง่ายจึงกลายเป็นหัวข้อวิจัยที่กำลังได้รับความนิยม เทคโนโลยี ExAvatar เปิดตัวร่วมกันโดย DGIST และ Codec Avatars Lab ของ Meta มอบโซลูชันใหม่ล่าสุดให้กับเรา โดยสามารถสร้างอวตาร 3 มิติที่เหมือนจริงได้อย่างรวดเร็ว ซึ่งสามารถเลียนแบบการเคลื่อนไหวร่างกาย การแสดงออกทางสีหน้า และท่าทางมือของผู้ใช้ผ่านการสแกนโทรศัพท์มือถือแบบง่ายๆ และบรรลุประสิทธิภาพไดนามิกคุณภาพสูงและเอฟเฟกต์การเรนเดอร์ผ่านอัลกอริธึมและเทคโนโลยีขั้นสูง ซึ่งเป็นแพลตฟอร์มที่ทรงพลังสำหรับ ฟิลด์ Metaverse ได้นำความเป็นไปได้ใหม่ๆ
ในยุคดิจิทัล เทคโนโลยีความเป็นจริงเสมือน (VR) และความเป็นจริงเสริม (AR) กำลังค่อยๆ เปลี่ยนวิถีชีวิตและการทำงานของเรา ลองจินตนาการถึงความสามารถในการสร้างอวาตาร์ 3 มิติที่เลียนแบบทุกการเคลื่อนไหวและการแสดงออกของคุณ มันจะเป็นอย่างไร?
ExAvatar ซึ่งพัฒนาร่วมกันโดย DGIST และ Codec Avatars Lab ของ Meta กำลังเปลี่ยนจินตนาการนี้ให้กลายเป็นความจริง เทคโนโลยีนี้จะบันทึกการเคลื่อนไหวร่างกาย การแสดงออกทางสีหน้า และแม้แต่ท่าทางมือของคุณผ่านวิดีโอ และแปลงเป็นภาพดิจิทัล 3 มิติที่เหมือนจริง
นวัตกรรมสองประการของ ExAvatar: ประการแรก ใช้โมเดลตาข่ายพาราเมตริกแบบเต็มตัว SMPL-X เพื่อจับภาพและสร้างท่าทางต่างๆ ของร่างกายมนุษย์ได้อย่างแม่นยำ ประการที่สอง เมื่อรวมกับเทคโนโลยี 3D Gaussian sputtering (3DGS) จะทำให้ ExAvatar สมจริงและมีประสิทธิภาพมากขึ้น ความสามารถในการเรนเดอร์
ฟังก์ชั่นหลัก:
ไดรเวอร์ 3D แบบเต็มตัว: รองรับแอนิเมชั่นที่ครอบคลุมของร่างกาย มือ และใบหน้า สร้างท่าทางและการแสดงออกที่หลากหลาย
การแสดงแบบไฮบริด: ผสมผสาน 3D Gaussian และตาข่ายพื้นผิวเพื่อให้มั่นใจว่ารูปทรงเรขาคณิตและรูปลักษณ์มีความสอดคล้องกัน และลดสิ่งแปลกปลอม
การจับภาพที่สะดวก: คุณสามารถสร้างอวตาร 3 มิติได้โดยการสแกนด้วยโทรศัพท์มือถือของคุณในเวลาอันสั้น และการดำเนินการก็ง่ายดาย
การเรนเดอร์คุณภาพสูง: ใช้อัลกอริธึมและเทคโนโลยีขั้นสูงเพื่อให้ได้ประสิทธิภาพไดนามิกคุณภาพสูงและเอฟเฟกต์การเรนเดอร์
ดีกว่าเทคโนโลยีที่มีอยู่: เหนือกว่าเทคโนโลยีการสร้างอวาตาร์ 3 มิติก่อนหน้านี้ในแง่ของการเคลื่อนไหวและรูปลักษณ์ที่เป็นธรรมชาติ และสามารถปรับให้เข้ากับสถานการณ์การใช้งานที่หลากหลายยิ่งขึ้น
ExAvatar แก้ปัญหาความท้าทายบางประการของเทคโนโลยีก่อนหน้านี้ เช่น การขาดความหลากหลายในการแสดงออกทางสีหน้าและท่าทาง และการขาดข้อมูลเชิงสังเกตการณ์ เช่น การสแกน 3 มิติ และภาพเชิงลึก ด้วยการผสมผสานการเป็นตัวแทน ExAvatar จะปรับปรุงความเป็นธรรมชาติของแอนิเมชั่นและลดสิ่งแปลกปลอมที่อาจปรากฏในท่าทางใหม่
ก่อนการฝึก ExAvatar ทีมวิจัยได้ร่วมกันลงทะเบียนร่างกาย มือ และใบหน้าด้วยโมเดล SMPL-X แนะนำการชดเชยข้อต่อและการชดเชยใบหน้า ปรับปรุงความยาวกระดูกมือและรูปร่างบริเวณใบหน้าให้เหมาะสม และปรับปรุงการแสดงออกและความเป็นธรรมชาติของอวตาร
สถาปัตยกรรมทางเทคนิคของ ExAvatar แยกคุณลักษณะของ Gaussian แต่ละตัวและประมวลผลผ่าน Perceptron หลายชั้น (MLP) รวมกับตารางมาตรฐานเพื่อสร้างอวตาร 3 มิติที่สามารถเคลื่อนไหวได้ในพื้นที่มาตรฐาน อัลกอริธึมการประมาณค่าแบบผสมผสานเชิงเส้น (LBS) ใช้สำหรับการประมวลผลแอนิเมชั่น และอวาตาร์จะถูกเรนเดอร์ไปที่หน้าจอโดยใช้เทคโนโลยี 3DGS เพื่อให้มั่นใจถึงเอฟเฟกต์ภาพคุณภาพสูง
ความสะดวกสบายของ ExAvatar สะท้อนให้เห็นความจริงที่ว่าผู้ใช้สามารถสร้างอวตาร 3 มิติด้วยการสแกนโทรศัพท์มือถือแบบง่ายๆ รองรับแอนิเมชั่นด้วยท่าทางท่าทางและการแสดงออกทางสีหน้าแบบใหม่ และเรนเดอร์จากทุกมุมมอง เทคนิคนี้ใช้วิธีการนำเสนอแบบไฮบริดที่ถือว่า 3D Gaussian แต่ละรายการเป็นจุดยอดของพื้นผิว โดยมีการเชื่อมต่อที่กำหนดไว้ล่วงหน้าระหว่างจุดยอดเหล่านี้ ซึ่งตรงกับโทโพโลยีแบบตาข่ายของ SMPL-X
ที่อยู่โครงการ: https://top.aibase.com/tool/exavatar
ที่อยู่กระดาษ: https://arxiv.org/pdf/2407.21686
ด้วยความแม่นยำ ประสิทธิภาพ และความสะดวกในการใช้งานสูง ExAvatar คาดว่าจะถูกนำมาใช้กันอย่างแพร่หลายในสาขาต่างๆ เช่น ความเป็นจริงเสมือน ความเป็นจริงเสริม การพัฒนาเกม และการสร้างเนื้อหาดิจิทัล ทำให้ผู้ใช้ได้รับประสบการณ์ดิจิทัลที่ดื่มด่ำและโต้ตอบได้มากขึ้น ในอนาคต เทคโนโลยีนี้อาจมีบทบาทสำคัญในการทำงานร่วมกันระยะไกล การฝึกอบรมเสมือนจริง ฯลฯ