Alibaba a rendu open source son nouveau framework de génération de vidéo IA DreaMoving, qui est basé sur le modèle de diffusion et peut obtenir un contrôle précis du mouvement des personnages pour générer des vidéos hautement personnalisées. Les utilisateurs doivent uniquement fournir des images de personnages et des descriptions textuelles simples pour générer les vidéos correspondantes, et peuvent ajuster de manière flexible les détails tels que les mouvements des personnages, les arrière-plans et les vêtements. DreaMoving parvient à un contrôle précis du mouvement et de l'apparence grâce aux composants Video ControlNet et Content Guider, démontrant ainsi ses fortes capacités de généralisation et ses progrès révolutionnaires dans le domaine de la génération vidéo IA. Cela offre de nouvelles possibilités pour la production vidéo créative, les effets spéciaux cinématographiques et télévisuels et d’autres domaines.
Alibaba a annoncé le framework open source DreaMoving pour obtenir un contrôle idéal du mouvement des personnages basé sur le modèle de diffusion. Le framework permet aux utilisateurs de générer des vidéos hautement personnalisées d'humains, notamment une fille souriante sur la plage, une fille asiatique dansant dans Central Park, et bien plus encore. En introduisant les composants Video ControlNet et Content Guider, un contrôle précis du mouvement et de l'apparence est obtenu. Les utilisateurs doivent uniquement fournir des portraits et des invites simples pour générer les vidéos correspondantes, et prendre en charge les modifications des invites, des arrière-plans des personnages et des vêtements. DreaMoving a démontré de fortes capacités de généralisation dans le domaine de la génération de vidéos IA et peut générer des vidéos de haute qualité basées sur des séquences guidées et des descriptions simples.
L'open source du framework DreaMoving marque une nouvelle étape pour la technologie de génération de vidéo IA. Ses fonctions puissantes et sa facilité d'utilisation apporteront de la commodité à davantage de développeurs et d'utilisateurs, et favoriseront l'application et le développement de la technologie de génération de vidéo IA dans divers domaines. dans l’attente de ses mises à jour et améliorations ultérieures.