다운코드 편집자 보고서: ByteDance의 최신 인물 애니메이션 기술인 X-Portrait2는 초저비용의 효율적인 애니메이션 생성 기능으로 광범위한 주목을 받았습니다. 이 기술은 정적 인물 이미지와 퍼포먼스 중심 비디오만을 사용하여 사실적이고 표현력이 풍부한 애니메이션 비디오를 생성할 수 있어 기존 애니메이션 제작 프로세스를 크게 단순화합니다. X-Portrait2의 핵심은 작은 표정을 정확하게 포착하고 전달할 수 있는 고급 표현 인코더 모델에 있습니다. 삐죽삐죽한 표정, 혀 내밀기와 같은 복잡한 표정도 높은 감정 충실도를 유지하면서 완벽하게 표현할 수 있습니다. 이 기술은 애니메이션, 가상 에이전트 등 분야에서 획기적인 변화를 가져올 것으로 기대된다.
이 기술의 핵심은 입력의 작은 표현을 암시적으로 인코딩하도록 대규모 데이터 세트에서 훈련된 고급 표현 인코더 모델입니다. 강력한 생성 확산 모델과 결합된 X-Portrait2는 부드럽고 표현력이 뛰어난 비디오를 생성하여 배우의 미묘한 얼굴 표정은 물론 삐죽, 혀 내밀기, 볼 부풀리기, 찡그린 얼굴과 같은 까다로운 표정까지 전달할 수 있습니다. 동시에 생성된 영상은 감정 표현 측면에서도 높은 충실도를 유지합니다.
표현 인코더를 훈련할 때 개발팀은 모양과 동작을 강력하게 분리하여 인코더가 비디오의 표현 관련 정보에 집중할 수 있도록 합니다. 이 설계를 통해 모델은 사실적인 스토리텔링, 캐릭터 애니메이션, 가상 에이전트 및 시각 효과와 같은 다양한 시나리오에 적합한 교차 스타일 및 교차 도메인 표현 전송을 달성할 수 있습니다.
X-Portrait, Runway Act-One 등 기존의 최첨단 방식에 비해 X-Portrait2는 고품질 애니메이션에 중요한 빠른 머리 움직임, 작은 표정 변화, 개인 감정 전달에서 더 높은 정확도를 보여줍니다. 애니메이션, 영화 제작 등 콘텐츠 제작은 매우 중요합니다.
주소: https://byteaigc.github.io/X-Portrait2/
효율적이고 충실도가 높은 애니메이션 생성 기능을 갖춘 X-Portrait2는 애니메이션 제작 분야에서 중요한 기술 혁신이 되어 제작자에게 더욱 편리하고 강력한 도구를 제공할 것으로 기대됩니다. 앞으로 X-Portrait2가 더 많은 분야에서 활용되어 더욱 흥미로운 애니메이션 작품을 선보이길 기대합니다.