Alibaba abriu o código-fonte de sua nova estrutura de geração de vídeo de IA, DreaMoving, que é baseada no modelo de difusão e pode obter controle preciso do movimento dos personagens para gerar vídeos altamente personalizados. Os usuários só precisam fornecer imagens de personagens e descrições de texto simples para gerar vídeos correspondentes e podem ajustar com flexibilidade detalhes como movimentos de personagens, planos de fundo e roupas. DreaMoving alcança controle preciso de movimento e aparência por meio dos componentes Video ControlNet e Content Guider, demonstrando suas fortes capacidades de generalização e progresso inovador no campo de geração de vídeo de IA. Isto oferece novas possibilidades para produção criativa de vídeo, efeitos especiais de cinema e televisão e outros campos.
Alibaba anunciou a estrutura DreaMoving de código aberto para alcançar o controle ideal do movimento do personagem com base no modelo de difusão. A estrutura permite aos usuários gerar vídeos altamente personalizados de humanos, incluindo uma garota sorridente na praia, uma garota asiática dançando no Central Park e muito mais. Ao introduzir os componentes Video ControlNet e Content Guider, é alcançado um controle preciso de movimento e aparência. Os usuários só precisam fornecer retratos e instruções simples para gerar os vídeos correspondentes e oferecer suporte à mudança de instruções, planos de fundo dos personagens e roupas. DreaMoving demonstrou fortes capacidades de generalização no campo da geração de vídeo de IA e pode gerar vídeos de alta qualidade com base em sequências guiadas e descrições simples.
O código aberto da estrutura DreaMoving marca uma nova etapa para a tecnologia de geração de vídeo de IA. Suas funções poderosas e facilidade de uso trarão conveniência para mais desenvolvedores e usuários e promoverão a aplicação e o desenvolvimento da tecnologia de geração de vídeo de IA em vários campos. ansioso por suas atualizações e melhorias subsequentes.