Alibaba는 확산 모델을 기반으로 하며 캐릭터 움직임을 정밀하게 제어하여 고도로 맞춤화된 비디오를 생성할 수 있는 새로운 AI 비디오 생성 프레임워크인 DreaMoving을 오픈소스화했습니다. 사용자는 캐릭터 이미지와 간단한 텍스트 설명만 제공하면 해당 동영상을 생성할 수 있으며 캐릭터 움직임, 배경, 의상 등 세부 사항을 유연하게 조정할 수 있습니다. DreaMoving은 Video ControlNet 및 Content Guider 구성 요소를 통해 모션 및 모양의 정밀한 제어를 달성하여 AI 비디오 생성 분야에서 강력한 일반화 기능과 획기적인 발전을 보여줍니다. 이는 창의적인 비디오 제작, 영화, TV 특수 효과 및 기타 분야에 새로운 가능성을 제공합니다.
Alibaba는 확산 모델을 기반으로 캐릭터 움직임을 이상적으로 제어할 수 있는 오픈 소스 DreaMoving 프레임워크를 발표했습니다. 이 프레임워크를 통해 사용자는 해변에서 웃는 소녀, 센트럴 파크에서 춤추는 아시아 소녀 등을 포함하여 고도로 맞춤화된 인간 비디오를 생성할 수 있습니다. Video ControlNet 및 Content Guider 구성 요소를 도입하면 움직임과 모양을 정밀하게 제어할 수 있습니다. 사용자는 인물 사진과 간단한 프롬프트만 제공하여 해당 비디오를 생성하고 프롬프트, 캐릭터 배경 및 의상 변경을 지원하면 됩니다. DreaMoving은 AI 비디오 생성 분야에서 강력한 일반화 기능을 입증했으며 안내된 시퀀스와 간단한 설명을 기반으로 고품질 비디오를 생성할 수 있습니다.
DreaMoving 프레임워크의 오픈소스는 AI 영상 생성 기술의 새로운 장을 열었습니다. 강력한 기능과 사용 편의성은 더 많은 개발자와 사용자에게 편의성을 제공하고 다양한 분야에서 AI 영상 생성 기술의 적용 및 개발을 촉진할 가치가 있습니다. 후속 업데이트와 개선을 기대합니다.