A Rhymes AI lançou o revolucionário modelo de geração de texto-imagem para vídeo Allegro-TI2V, que marca um grande avanço em IA no campo criativo. Allegro-TI2V suporta um comprimento de contexto de até 79,2K, uma resolução de saída de 720×1280 pixels e fornece vários modos de geração, como geração de vídeo subsequente e geração de vídeo intermediária, o que melhora muito a eficiência da criação de vídeo. O modelo é lançado sob a licença Apache2.0 e pode ser facilmente acessado e utilizado pelos usuários.
A Rhymes AI lançou recentemente seu revolucionário modelo de geração de texto-imagem para vídeo Allegro-TI2V. Esta tecnologia inovadora abre uma nova fronteira para a criação de conteúdo digital. Sendo o mais recente avanço em IA generativa, o Allegro-TI2V fornece aos trabalhadores criativos ferramentas de narrativa visual sem precedentes, marcando o enorme potencial da tecnologia de IA no campo criativo.
O Allegro-TI2V se destaca em diversas especificações técnicas, suportando comprimentos de contexto de até 79,2K, equivalente a 88 quadros de vídeo. Sua resolução de saída é de 720×1280 pixels e a velocidade de geração de vídeo é de 15 quadros por segundo. Os usuários também podem optar por interpolar para 30FPS para atender às necessidades de diferentes cenários de aplicação. A arquitetura deste modelo é muito complexa, incluindo o modelo VideoVAE de 175 milhões de parâmetros e o modelo VideoDiT de 2,8 bilhões de parâmetros, permitindo capturar com precisão os prompts de texto inseridos pelo usuário e a essência da imagem inicial. Além disso, o Allegro-TI2V também suporta modos de multiprecisão (FP32, BF16, FP16). No modo BF16, apenas 9,3 GB de memória GPU são necessários para gerar vídeo, o que reduz bastante os requisitos de hardware.
A inovação do Allegro-TI2V é que ele introduz dois modos de nova geração: Geração de vídeo subsequente: com base em prompts de texto e quadros iniciais, é criado conteúdo de vídeo contínuo. Este modo ajuda os criadores a gerar facilmente vídeos que correspondam ao tema e estilo definidos. Geração de vídeo intermediário: Com base no primeiro e no último quadro de um determinado vídeo, gera quadros intermediários de transição naturais, quebrando as limitações de tempo e espaço da edição de vídeo tradicional.
Esses modos inovadores permitem que o Allegro-TI2V forneça aos criadores um método de criação de vídeo mais eficiente e flexível, melhorando significativamente a eficiência e a qualidade da criação.
A Rhymes AI lançou o Allegro-TI2V sob a licença Apache 2.0, tornando esta tecnologia mais facilmente acessível e utilizável por pesquisadores, desenvolvedores e criadores de conteúdo. Os usuários só precisam instalar Python3.10+, PyTorch2.4+ e CUDA12.4+ para começar facilmente e experimentar rapidamente esta tecnologia avançada.
Allegro-TI2V tem uma ampla gama de possibilidades de aplicação, desde produção de filmes e desenvolvimento de jogos até arte digital e prototipagem criativa, todas as quais podem aproveitar ao máximo seus poderosos recursos de geração. De acordo com dados fornecidos pelo desenvolvedor, uma única GPU H100 pode gerar um vídeo de 6 segundos em cerca de 20 minutos. Com uma configuração de 8 GPUs H100, o tempo de geração será reduzido para 3 minutos, melhorando significativamente a eficiência da criação de conteúdo de vídeo. .
Endereço de uso: https://huggingface.co/rhymes-ai/Allegro-TI2V
Endereço do produto: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
Com suas funções poderosas e facilidade de uso, o Allegro-TI2V promoverá enormemente o desenvolvimento da criação de conteúdo de vídeo e trará novas possibilidades para a indústria criativa. A sua natureza de código aberto também incentiva uma participação mais ampla da comunidade e o desenvolvimento tecnológico, e vale a pena aguardar com expectativa as suas futuras aplicações e melhorias.