在虛擬實境和擴增實境技術快速發展的今天，如何創造一個逼真、自然且易於操作的3D數位化身成為研究熱點。 DGIST和Meta公司的Codec Avatars Lab共同推出的ExAvatar技術，為我們提供了一個全新的解決方案。它能夠透過簡單的手機掃描，快速產生一個能夠模仿用戶全身動作、面部表情和手部姿勢的栩栩如生的3D化身，並透過先進的演算法和技術，實現高品質的動態表現和渲染效果，為元宇宙等領域帶來了新的可能性。
在數位化時代，虛擬實境（VR）和擴增實境(AR)技術正逐步改變我們的生活和工作方式。設想一下，如果能夠創造一個能模仿你每一個動作和表情的3D化身，那是怎樣的體驗？
由DGIST和Meta公司的Codec Avatars Lab聯合研發的ExAvatar，正將此想像變成現實。這項技術能夠透過一段影片捕捉你的全身動作、臉部表情甚至手部姿勢，並將它們轉化為一個栩栩如生的3D數位影像。
ExAvatar的兩個創新點：首先，它採用了SMPL-X全身參數化網格模型，精確捕捉和再現人體各種姿勢;其次，結合3D高斯濺射技術（3DGS），賦予了ExAvatar更真實和高效的渲染能力。
核心功能:
全身3D驅動:支持身體、手和臉部的全面動畫，產生多種姿勢和表情。
混合表示法:結合3D高斯和表面網格，確保幾何和外觀一致性，減少偽影。
便利捕捉:透過短時間手機掃描即可創造3D頭像，操作簡單。
高品質渲染:採用先進演算法和技術，實現高品質動態表現和渲染效果。
優於現有技術:在自然運動和外觀方面超越以往3D頭像生成技術，適應更廣泛應用場景。
ExAvatar解決了以往技術中的一些難題，如面部表情和姿勢的多樣性不足，以及缺乏3D掃描和深度影像等觀測資料。透過混合表示法，ExAvatar提高了動畫的自然度，並減少了在新姿勢下可能出現的偽影。
在訓練ExAvatar之前，研究團隊對身體、手部和臉部進行了SMPL-X模型的共同配準，並引入了關節偏移量和臉部偏移量，優化了手部骨骼長度和臉部區域形狀，提升了頭像的表現能力和自然度。
ExAvatar的技術架構提取了每個高斯的特徵，並透過多層感知器（MLP）處理，結合標準網格形成可在標準空間中動畫化的3D頭像。使用線性混合插值(LBS)演算法進行動畫處理，並藉助3DGS技術將頭像渲染到螢幕上，確保了高品質的視覺效果。
ExAvatar的便利性體現在用戶可以透過簡單的手機掃描創建3D頭像，支援以新穎的身體姿勢、手勢和臉部表情進行動畫，並從任何視角進行渲染。這種技術透過混合表示方法，將每個3D高斯視為表面的一個頂點，並且這些頂點之間具有預先定義的連接性，與SMPL-X的網格拓撲結構相符。
專案網址：https://top.aibase.com/tool/exavatar
論文網址：https://arxiv.org/pdf/2407.21686
ExAvatar憑藉其高精度、高效率和易用性，預計將在虛擬實境、擴增實境、遊戲開發以及數位內容創作等領域中廣泛應用，為用戶帶來更沉浸式和互動性的數位體驗。 未來，這項技術也可能在遠端協作、虛擬培訓等方面發揮重要作用。