토론토 대학과 벡터 연구소의 연구팀은 최근 획기적인 4D 아바타 생성 기술인 CAP4D 모델을 출시했습니다. 변형 가능한 다시점 확산 모델(MMDM)을 기반으로 하며 여러 참조 이미지로부터 사실적이고 실시간 제어가 가능한 4D 아바타를 생성할 수 있어 아바타 재구성 효과와 세부 표현이 크게 향상됩니다. 이 기술은 단일 또는 소수의 참조 이미지를 처리할 수 있을 뿐만 아니라 텍스트 프롬프트나 아트워크에서 아바타를 생성할 수도 있어 강력한 적응성과 생성 기능을 보여줍니다. 2단계 방식은 먼저 MMDM을 사용하여 다양한 관점과 표정을 가진 이미지를 생성한 다음 참조 이미지를 결합하여 4D 아바타를 재구성합니다. 기존 이미지 편집 모델 및 음성 기반 애니메이션 모델과의 결합을 지원하여 더욱 풍부한 상호 작용과 역동적인 효과를 얻을 수 있습니다. 가상 아바타를 제공하는 애플리케이션은 새로운 가능성을 열어줍니다.
모델은 MMDM을 사용해 서로 다른 관점과 표정을 지닌 이미지를 생성한 다음 생성된 이미지를 참조 이미지와 결합해 실시간으로 제어할 수 있는 4D 아바타를 재구성하는 2단계 방식을 채택했다. 사용자는 참조 이미지를 원하는 만큼 입력할 수 있으며 모델은 이러한 이미지 정보를 사용하여 고품질 4D 아바타를 생성하고 음성 기반 애니메이션 모델과의 결합을 지원하여 오디오 기반 동적 효과를 달성합니다. CAP4D 모델의 등장은 가상 현실, 게임, 메타버스 등 분야에서 폭넓은 응용 가능성을 갖고 있는 4D 아바타 생성 기술에 있어 상당한 진전을 의미합니다.
연구팀은 단일 참조 이미지, 적은 수의 참조 이미지, 텍스트 프롬프트나 아트워크에서 아바타를 생성하는 더 어려운 시나리오를 포괄하여 CAP4D에서 생성된 다양한 아바타를 시연했습니다. 여러 참조 이미지를 사용함으로써 모델은 단일 이미지에서 볼 수 없는 세부 사항과 형상을 복구할 수 있어 재구성 성능이 향상됩니다. 또한 CAP4D에는 기존 이미지 편집 모델과 결합할 수 있는 기능도 있어 사용자가 생성된 아바타의 모양과 조명을 편집할 수 있습니다.
아바타의 표현력을 더욱 향상시키기 위해 CAP4D는 생성된 4D 아바타를 음성 기반 애니메이션 모델과 결합하여 오디오 기반 애니메이션 효과를 얻을 수 있습니다. 이를 통해 아바타는 정적인 시각 효과를 보여줄 뿐만 아니라 소리를 통해 사용자와 동적으로 상호 작용할 수 있어 가상 아바타 응용 분야의 새로운 영역을 창출할 수 있습니다.
하이라이트:
CAP4D 모델은 2단계 워크플로를 사용하여 원하는 수의 참조 이미지로부터 고품질 4D 아바타를 생성할 수 있습니다.
이 기술은 다양한 관점에서 아바타를 생성할 수 있어 이미지 재구성 효과와 세부 표현이 크게 향상됩니다.
CAP4D는 음성 기반 애니메이션 모델과 결합되어 오디오 기반의 동적 아바타를 구현하고 가상 아바타의 응용 시나리오를 확장합니다.
전체적으로 CAP4D 모델은 4D 아바타 생성 분야에서 획기적인 발전을 이루었으며 효율적이고 현실적이며 다기능적인 기능은 가상 현실 및 디지털 엔터테인먼트와 같은 분야에 새로운 가능성을 가져왔습니다. 앞으로 이 기술은 더욱 발전하여 사용자에게 더욱 편리하고 실감나는 가상 인터랙티브 경험을 제공할 것으로 기대됩니다.