在虚拟现实和增强现实技术飞速发展的今天，如何创造一个逼真、自然且易于操作的3D数字化身成为研究热点。DGIST和Meta公司的Codec Avatars Lab联合推出的ExAvatar技术，为我们提供了一种全新的解决方案。它能够通过简单的手机扫描，快速生成一个能够模仿用户全身动作、面部表情和手部姿势的栩栩如生的3D化身，并通过先进的算法和技术，实现高质量的动态表现和渲染效果，为元宇宙等领域带来了新的可能性。
在数字化时代，虚拟现实（VR）和增强现实(AR)技术正逐步改变我们的生活和工作方式。设想一下，如果能够创建一个能模仿你每一个动作和表情的3D化身，那是怎样的体验？
由DGIST和Meta公司的Codec Avatars Lab联合研发的ExAvatar，正将这一想象变为现实。这项技术能够通过一段视频捕捉你的全身动作、面部表情甚至手部姿势，并将它们转化为一个栩栩如生的3D数字形象。
ExAvatar的两个创新点:首先，它采用了SMPL-X全身参数化网格模型，精确捕捉和再现人体各种姿势;其次，结合3D高斯溅射技术（3DGS），赋予了ExAvatar更真实和高效的渲染能力。
核心功能:
全身3D驱动:支持身体、手和面部的全面动画，生成多种姿势和表情。
混合表示法:结合3D高斯和表面网格，确保几何和外观一致性，减少伪影。
便捷捕捉:通过短时间手机扫描即可创建3D头像，操作简单。
高质量渲染:采用先进算法和技术，实现高质量动态表现和渲染效果。
优于现有技术:在自然运动和外观方面超越以往3D头像生成技术，适应更广泛应用场景。
ExAvatar解决了以往技术中的一些难题，如面部表情和姿势的多样性不足，以及缺乏3D扫描和深度图像等观测数据。通过混合表示法，ExAvatar提高了动画的自然度，并减少了在新姿势下可能出现的伪影。
在训练ExAvatar之前，研究团队对身体、手和面部进行了SMPL-X模型的共同配准，并引入了关节偏移量和面部偏移量，优化了手部骨骼长度和面部区域形状，提升了头像的表现能力和自然度。
ExAvatar的技术架构提取了每个高斯的特征，并通过多层感知器（MLP）处理，结合标准网格形成可在标准空间中动画化的3D头像。使用线性混合插值(LBS)算法进行动画处理，并借助3DGS技术将头像渲染到屏幕上，确保了高质量的视觉效果。
ExAvatar的便捷性体现在用户可以通过简单的手机扫描创建3D头像，支持以新颖的身体姿势、手势和面部表情进行动画，并从任何视角进行渲染。这种技术通过混合表示方法，将每个3D高斯视为表面的一个顶点，并且这些顶点之间具有预定义的连接性，与SMPL-X的网格拓扑结构相匹配。
项目地址：https://top.aibase.com/tool/exavatar
论文地址：https://arxiv.org/pdf/2407.21686
ExAvatar凭借其高精度、高效率和易用性，有望在虚拟现实、增强现实、游戏开发以及数字内容创作等领域得到广泛应用，为用户带来更加沉浸式和互动性的数字体验。 未来，这项技术还可能在远程协作、虚拟培训等方面发挥重要作用。