Rhymes AI는 창의적인 분야에서 AI의 획기적인 발전을 이루는 혁신적인 텍스트-이미지-비디오 생성 모델 Allegro-TI2V를 출시했습니다. Allegro-TI2V는 최대 79.2K의 컨텍스트 길이, 720×1280 픽셀의 출력 해상도를 지원하고 후속 비디오 생성 및 중간 비디오 생성과 같은 다중 생성 모드를 제공하여 비디오 생성 효율성을 크게 향상시킵니다. 이 모델은 Apache2.0 라이센스에 따라 출시되었으며 사용자가 쉽게 액세스하고 사용할 수 있습니다.
Rhymes AI는 최근 혁신적인 텍스트-이미지-비디오 생성 모델인 Allegro-TI2V를 출시했습니다. 이 획기적인 기술은 디지털 콘텐츠 제작의 새로운 지평을 열었습니다. 생성적 AI의 최신 발전인 Allegro-TI2V는 창의적인 작업자에게 전례 없는 시각적 스토리텔링 도구를 제공하여 창의적인 분야에서 AI 기술의 엄청난 잠재력을 보여줍니다.
Allegro-TI2V는 다양한 기술 사양에서 뛰어나며 88개의 비디오 프레임에 해당하는 최대 79.2K의 컨텍스트 길이를 지원합니다. 출력 해상도는 720×1280픽셀이고 비디오 생성 속도는 초당 15프레임입니다. 사용자는 다양한 애플리케이션 시나리오의 요구 사항을 충족하기 위해 30FPS로 보간하도록 선택할 수도 있습니다. 이 모델의 아키텍처는 1억 7,500만 개의 매개변수 VideoVAE와 28억 개의 매개변수 VideoDiT 모델을 포함하여 매우 복잡하므로 사용자가 입력한 텍스트 프롬프트와 초기 이미지의 본질을 정확하게 캡처할 수 있습니다. 또한 Allegro-TI2V는 다중 정밀도 모드(FP32, BF16, FP16)도 지원합니다. BF16 모드에서는 비디오를 생성하는 데 9.3GB의 GPU 메모리만 필요하므로 하드웨어 요구 사항이 크게 줄어듭니다.
Allegro-TI2V의 혁신은 두 가지 새로운 세대 모드를 도입했다는 점입니다. 후속 비디오 생성: 텍스트 프롬프트와 초기 프레임을 기반으로 연속 비디오 콘텐츠가 생성됩니다. 이 모드를 사용하면 제작자가 자신이 설정한 테마와 스타일에 맞는 동영상을 쉽게 생성할 수 있습니다. 중간 비디오 생성: 주어진 비디오의 첫 번째 프레임과 마지막 프레임을 기반으로 자연스러운 전환 중간 프레임을 생성하여 기존 비디오 편집의 시간 및 공간 제한을 깨뜨립니다.
이러한 혁신적인 모드를 통해 Allegro-TI2V는 제작자에게 보다 효율적이고 유연한 비디오 제작 방법을 제공하여 제작 효율성과 품질을 크게 향상시킵니다.
Rhymes AI는 Apache 2.0 라이선스에 따라 Allegro-TI2V를 출시하여 연구원, 개발자 및 콘텐츠 제작자가 이 기술에 보다 쉽게 접근하고 사용할 수 있도록 했습니다. 사용자는 Python3.10+, PyTorch2.4+ 및 CUDA12.4+만 설치하면 이 고급 기술을 쉽게 시작하고 빠르게 경험할 수 있습니다.
Allegro-TI2V는 영화 제작 및 게임 개발부터 디지털 아트 및 창의적인 프로토타이핑에 이르기까지 광범위한 응용 가능성을 갖고 있으며, 모두 강력한 생성 기능을 최대한 활용할 수 있습니다. 개발자가 제공한 데이터에 따르면 H100 GPU 1개로 약 20분 만에 6초짜리 영상을 생성할 수 있다. H100 GPU 8개를 구성하면 생성 시간이 3분으로 단축돼 영상 콘텐츠 제작 효율성이 대폭 향상된다. .
이용 주소 : https://huggingface.co/rhymes-ai/Allegro-TI2V
제품 주소: https://rhymes.ai/blog-details/allegro-advanced-video- Generation-model
강력한 기능과 사용 편의성을 통해 Allegro-TI2V는 비디오 콘텐츠 제작의 발전을 크게 촉진하고 창조 산업에 새로운 가능성을 가져올 것입니다. 또한 오픈 소스 특성은 더 넓은 커뮤니티 참여와 기술 개발을 장려하며 향후 적용 및 개선을 기대할 가치가 있습니다.