Kuaishou a publié le framework de génération de texte perçu CineMaster3D perçu, un modèle de génération de vidéos basé sur la technologie ControlNet. Le cadre permet aux utilisateurs de contrôler avec précision la position, la trajectoire de mouvement et le langage des éléments de l'objectif dans la vidéo via des signaux de contrôle tels que des cartes de profondeur, des trajectoires de caméra et des étiquettes d'objets, en réalisant une précision créative et une liberté créatives sans précédent. Cela marque l'entrée d'une nouvelle ère d'intelligence dans le domaine de la création vidéo, réduisant le seuil technique pour la production vidéo professionnelle et apportant une énorme commodité créative aux créateurs professionnels et aux utilisateurs ordinaires.
ControlNet Technology donne à CineMaster3D une contrôlabilité puissante, et les utilisateurs peuvent représenter avec précision des images vidéo comme "Master Ma Liang". Kuaishou a également lancé simultanément un processus d'extraction de boîtes de délimitation 3D et de pistes de caméra à partir de vidéos à grande échelle, permettant aux utilisateurs de créer des vidéos existantes et d'atteindre des effets d'édition avancés tels que le transfert de style et le remplacement de la scène. La sortie de Cinemaster3d promenera davantage l'innovation dans les domaines de la technologie vidéo et de l'IA courte et favorisera la prospérité et le développement de l'écosystème de contenu.
Le point culminant le plus remarquable du cadre Cinemaster est son contrôle précis sur la position de l'objet et le mouvement de la caméra. Les utilisateurs peuvent ajuster finement la position, la trajectoire de mouvement et le langage global des éléments de l'objectif dans la vidéo en entrant des signaux de contrôle tels que des cartes de profondeur, des pistes de caméra et des étiquettes d'objets. Cela signifie que les créateurs n'ont plus besoin de s'appuyer entièrement sur le "jeu libre" de l'IA, mais peuvent représenter avec précision les images vidéo dans leur esprit comme "Ma Liang".
Ce qui est encore plus surprenant, c'est que Kuaishou a également lancé simultanément un ensemble de processus pour extraire les boîtes de délimitation 3D et les pistes de caméra à partir de vidéos à grande échelle. Cette technologie signifie que les utilisateurs peuvent non seulement créer des vidéos contrôlables à partir de zéro, mais aussi la création secondaire de vidéos existantes, extraire des informations 3D des vidéos et les utiliser, afin d'obtenir des effets d'édition avancés tels que le transfert de style et le remplacement de la scène, et étendre davantage La possibilité de création vidéo.
La sortie de Cinemaster indique que la création de contenu vidéo évolue vers une nouvelle ère d'intelligence. Il réduit les barrières techniques pour la production vidéo professionnelle et permet à une base d'utilisateurs plus large de créer facilement du contenu vidéo de haute qualité et personnalisé. Que ce soit des créateurs professionnels ou des utilisateurs ordinaires, ils en bénéficieront et profiteront des dividendes créatifs apportés par les progrès technologiques. La décision de Kuaishou consolidera sans aucun doute sa position principale dans les domaines de la technologie vidéo et de l'IA courte, et favorisera la prospérité et le développement de l'écosystème technologique et de contenu technologique de l'industrie.
Adresse du projet: https://cinemaster-dev.github.io/
En bref, la sortie de Kuaishou Cinemaster3d est une progression majeure dans le domaine de la création de vidéos. L'application mature de cette technologie enrichira encore l'écosystème du contenu vidéo et favorisera le développement durable de la technologie d'IA dans le domaine vidéo.