오늘날 가상현실과 증강현실 기술의 급속한 발전으로 현실적이고 자연스러우며 조작이 간편한 3D 디지털 아바타를 제작하는 방법이 뜨거운 연구 주제가 되고 있습니다. DGIST와 Meta의 Codec Avatars Lab이 공동으로 출시한 ExAvatar 기술은 우리에게 새로운 솔루션을 제공합니다. 간단한 휴대폰 스캔을 통해 사용자의 전신 움직임, 얼굴 표정, 손 자세를 모방할 수 있는 실물과 같은 3D 아바타를 빠르게 생성할 수 있으며, 고급 알고리즘과 기술을 통해 고품질의 동적 성능과 렌더링 효과를 달성하여 강력한 플랫폼을 제공합니다. Metaverse 필드는 새로운 가능성을 가져왔습니다.
디지털 시대에 가상현실(VR)과 증강현실(AR) 기술은 우리가 살고 일하는 방식을 점차 변화시키고 있습니다. 당신의 모든 움직임과 표정을 흉내내는 3D 아바타를 만들 수 있다고 상상해 보세요.
DGIST와 Meta의 Codec Avatars Lab이 공동 개발한 ExAvatar는 이러한 상상을 현실로 만들어줍니다. 이 기술은 영상을 통해 몸 전체의 움직임, 얼굴 표정, 손짓까지 포착하여 실제와 같은 3D 디지털 이미지로 변환합니다.
ExAvatar의 두 가지 혁신: 첫째, SMPL-X 전신 파라메트릭 메시 모델을 사용하여 인체의 다양한 자세를 정확하게 캡처하고 재현합니다. 둘째, 3D 가우스 스퍼터링 기술(3DGS)과 결합하여 ExAvatar를 더욱 현실적이고 효율적으로 만듭니다. 렌더링 능력.
핵심 기능:
전신 3D 드라이버: 신체, 손, 얼굴의 포괄적인 애니메이션을 지원하여 다양한 포즈와 표정을 생성합니다.
하이브리드 표현: 3D 가우스와 표면 메시를 결합하여 기하학적 및 모양 일관성을 보장하고 아티팩트를 줄입니다.
편리한 캡쳐 : 휴대폰으로 스캔하여 단시간에 3D 아바타를 생성할 수 있으며, 조작도 간단합니다.
고품질 렌더링: 고급 알고리즘과 기술을 사용하여 고품질의 동적 성능과 렌더링 효과를 얻습니다.
기존 기술보다 우수함: 자연스러운 움직임과 외관 측면에서 이전 3D 아바타 생성 기술을 능가하며 더 넓은 범위의 응용 시나리오에 적용할 수 있습니다.
ExAvatar는 얼굴 표정과 포즈의 다양성 부족, 3D 스캔 및 깊이 이미지와 같은 관찰 데이터 부족 등 이전 기술의 과제 중 일부를 해결합니다. ExAvatar는 표현을 혼합함으로써 애니메이션의 자연스러움을 향상시키고 새로운 포즈에 나타날 수 있는 아티팩트를 줄입니다.
연구팀은 ExAvatar 훈련에 앞서 신체, 손, 얼굴을 SMPL-X 모델에 공동 등록하고 관절 오프셋과 안면 오프셋을 도입해 손뼈 길이와 얼굴 영역 형태를 최적화하고 아바타의 표현력과 자연스러움을 향상시켰다.
ExAvatar의 기술 아키텍처는 각 가우시안의 특징을 추출하고 MLP(다층 퍼셉트론)를 통해 처리하며, 표준 그리드와 결합하여 표준 공간에서 애니메이션이 가능한 3D 아바타를 형성합니다. 애니메이션 처리에는 LBS(선형 블렌딩 보간) 알고리즘이 사용되며, 3DGS 기술을 통해 아바타가 화면에 렌더링되어 고품질의 시각 효과를 보장합니다.
ExAvatar의 편리함은 사용자가 간단한 휴대폰 스캔만으로 3D 아바타를 생성할 수 있고, 새로운 신체 포즈, 제스처 및 표정으로 애니메이션을 지원하고, 어떤 시야각에서도 렌더링할 수 있다는 점에서 반영됩니다. 이 기술은 각 3D 가우스를 표면의 정점으로 처리하고 이러한 정점 간의 사전 정의된 연결성을 통해 SMPL-X의 메시 토폴로지와 일치하는 하이브리드 표현 방법을 사용합니다.
프로젝트 주소: https://top.aibase.com/tool/exavatar
논문 주소: https://arxiv.org/pdf/2407.21686
높은 정밀도와 효율성, 사용 편의성을 갖춘 ExAvatar는 가상 현실, 증강 현실, 게임 개발, 디지털 콘텐츠 제작 등의 분야에서 널리 활용되어 사용자에게 더욱 실감나고 인터랙티브한 디지털 경험을 선사할 것으로 기대됩니다. 미래에는 이 기술이 원격 협업, 가상 교육 등에서도 중요한 역할을 할 수도 있습니다.