Kuaishou a lancé un nouveau framework de génération de texte à vidéo Cinemaster, qui a des capacités de perception 3D et est connu sous le nom de version vidéo de ControlNet, offrant aux utilisateurs une liberté créative sans précédent. Il permet aux utilisateurs de contrôler avec précision la position et le mouvement de la caméra des objets dans la vidéo via les invites de texte et les signaux de contrôle tels que les cartes de profondeur, les pistes de caméra, les étiquettes d'objets et d'autres signaux de contrôle, afin d'obtenir un contrôle précis du contenu vidéo généré. Cela marque la technologie de génération de vidéos IA à un nouveau niveau et améliorera considérablement l'efficacité de la création vidéo et les capacités d'expression créative.
L'avantage principal de Cinemaster est ses fortes capacités de contrôle. Les utilisateurs peuvent non seulement générer des vidéos via des invites de texte traditionnelles, mais également effectuer des ajustements fins en fonction des signaux de contrôle tels que des cartes de profondeur, des pistes de caméra, des étiquettes d'objets, etc., afin de créer des œuvres plus créatives et personnalisées. Kuaishou fournit également un ensemble de processus pour extraire les boîtes de délimitation 3D et les pistes de caméra à partir de vidéos à grande échelle, offrant une prise en charge des données puissante pour la formation et l'application de Cinemaster. La page de projet de Cinemaster est en ligne et les utilisateurs intéressés peuvent visiter Cinemaster-dev.github.io/.
L'émergence de Cinemaster indique que le domaine de la génération de vidéos AI est sur le point d'atténuer une nouvelle vague de développement. Nous attendons avec impatience l'avenir de Cinemaster pour apporter plus de surprises et d'innovations.