ByteDance와 상하이 과학 기술 대학의 연구원들은 서로 다른 각도에서 대상 인물의 사진 3장만 사용하여 현실적이고 애니메이션이 가능한 3D 가상 인간 머리 모델을 빠르게 생성할 수 있는 "HeadGAP"이라는 혁신적인 기술을 공동 개발했습니다. 이 기술은 대용량 데이터와 복잡한 작업에 의존하는 전통적인 3D 모델링을 깨고 가상 캐릭터 생성에 전례 없는 편의성을 제공하며 매우 높은 개인화 사용자 정의 기능을 제공합니다. HeadGAP은 '사전 학습' 단계에서 축적된 3D 머리 사전 정보를 통해 대상 캐릭터의 특성 복원도가 높은 가상 아바타를 효율적으로 생성하고, 참조 영상을 기반으로 표정 동기화를 지원할 수 있다.
최근 ByteDance와 ShanghaiTech University의 연구진은 모두의 관심을 끌었던 "HeadGAP"이라는 연구를 개발했습니다. 연구팀은 대상자의 서로 다른 시점을 담은 사진 3장만 사용하면 고도의 이미지를 빠르게 만들 수 있는 새로운 방법을 제안했습니다. 사실적이고 애니메이션 가능한 3D 가상 인간 머리 이미지를 생성하고 참조 비디오를 기반으로 얼굴 표정을 동기화합니다.
연구팀은 실제 시나리오에서 소량의 데이터로 개인화된 아바타를 만드는 방법을 시연했습니다. 이번 연구에서 연구진은 먼저 '사전학습'이라는 단계를 진행했다. 이 단계에서 그들은 대규모 다중 뷰 동적 데이터 세트에서 3D 머리에 대한 사전 정보를 추출했습니다. 이 사전 정보는 시스템이 다양한 머리 특징과 표현을 이해하는 데 도움이 될 수 있습니다. 그런 다음 "아바타 생성" 단계에서 연구자들은 이 사전 정보를 사용하여 개인화된 맞춤화를 수행하고 대상 인물의 가상 아바타를 생성합니다.
전체 프로세스는 부분 동적 모델링과 결합된 가우스 포인트 클라우드 기반의 자체 디코딩 네트워크를 사용합니다. 이러한 방식으로 시스템은 각 개인의 고유성을 신속하게 포착하고 이를 기반으로 아바타의 개인화된 최적화를 수행할 수 있습니다. 또한 팀은 아바타 개인화 프로세스를 보다 효율적으로 만들기 위해 반전 및 미세 조정 전략과 같은 몇 가지 기술적 수단을 사용했으며 궁극적으로 사진 수준의 렌더링 효과와 다시점 일관성을 성공적으로 달성했습니다.
실험에서 연구팀은 다양한 시나리오에서 해당 방법의 성능을 시연했습니다. 그 결과 생성된 3D 아바타는 통제된 환경이나 실제 환경에서 높은 품질과 안정적인 애니메이션 효과를 유지할 수 있음을 보여주었습니다. 이 성과는 가상 소셜 네트워킹, 게임 개발 및 기타 분야에서 광범위한 응용 가능성을 가질 뿐만 아니라 3D 아바타의 개인화된 제작을 위한 새로운 아이디어와 방법을 제공합니다.
제품 입구: https://top.aibase.com/tool/headgap
가장 밝은 부분:
연구팀은 'HeadGAP' 방식을 이용해 단 몇 장의 사진만으로 사실적인 3D 머리 가상 이미지를 만들어냈다.
이 방법은 가우시안 포인트 네트워크와 동적 모델링 기술을 사용하여 아바타의 개인화 및 최적화를 달성합니다.
실험 결과는 생성된 아바타가 뛰어난 렌더링 품질과 애니메이션 성능을 가지며 다양한 응용 시나리오에 적합하다는 것을 보여줍니다.
HeadGAP 기술의 출현은 3D 가상 초상화 생성 기술의 새로운 이정표를 의미하며, 그 효율성, 편의성 및 높은 충실도는 확실히 가상 현실 및 메타버스와 같은 분야에 혁신적인 영향을 가져올 것입니다. 앞으로는 이 기술이 더 많은 분야에서 활용되어 사람들에게 더욱 현실적이고 개인화된 가상 경험을 선사할 것으로 기대됩니다.