Kuaishou ha lanzado el marco de generación de texto a video percibido Cinemaster3D, un modelo de generación de videos basado en la tecnología Controlnet. El marco permite a los usuarios controlar con precisión la posición, la trayectoria de movimiento y el lenguaje de los elementos en el video a través de señales de control como mapas de profundidad, trayectorias de la cámara y etiquetas de objetos, logrando una precisión creativa y libertad sin precedentes. Esto marca la entrada de una nueva era de inteligencia en el campo de la creación de videos, reduciendo el umbral técnico para la producción profesional de video y brindando una gran conveniencia creativa tanto a los creadores profesionales como a los usuarios comunes.
La tecnología Controlnet brinda a Cinemaster3D potente controlabilidad, y los usuarios pueden representar con precisión imágenes de video como "Master Ma Liang". Kuaishou también ha lanzado simultáneamente un proceso de extraer cajas limitadas 3D y pistas de cámara de videos a gran escala, lo que permite a los usuarios la creación secundaria de videos existentes y lograr efectos de edición avanzados como transferencia de estilo y reemplazo de escenas. El lanzamiento de Cinemaster3D promoverá aún más la innovación en los campos de videos cortos y tecnología de IA y promoverá la prosperidad y el desarrollo del ecosistema de contenido.
El punto culminante más notable del marco Cinemaster es su control preciso sobre la posición del objeto y el movimiento de la cámara. Los usuarios pueden ajustar finamente la posición, la trayectoria de movimiento y el lenguaje general de los elementos en el video ingresando señales de control como mapas de profundidad, pistas de cámara y etiquetas de objetos. Esto significa que los creadores ya no necesitan confiar completamente en el "juego libre" de la AI, pero pueden representar con precisión las imágenes de video en sus mentes como "Ma Liang".
Lo que es aún más sorprendente es que Kuaishou también ha lanzado simultáneamente un conjunto de procesos para extraer cajas limitantes 3D y pistas de cámara de videos a gran escala. Esta tecnología significa que los usuarios no solo pueden crear videos controlables desde cero, sino también la creación secundaria de videos existentes, extraer información 3D de los videos y utilizarlos, para lograr efectos de edición avanzados, como la transferencia de estilo y el reemplazo de la escena, y expandirse aún más. La posibilidad de la creación de video.
El lanzamiento de Cinemaster indica que la creación de contenido de video se está moviendo hacia una nueva era de inteligencia. Reduce las barreras técnicas para la producción de video profesional y permite que una base de usuarios más amplia cree fácilmente contenido de video personalizado y de alta calidad. Ya sean creadores profesionales o usuarios comunes, se beneficiarán de él y disfrutarán de los dividendos creativos traídos por el progreso tecnológico. El movimiento de Kuaishou sin duda consolidará aún más su posición de liderazgo en los campos de videos cortos y tecnología de IA, y promoverá la prosperidad y el desarrollo del ecosistema tecnológico de innovación y contenido tecnológico de toda la industria.
Dirección del proyecto: https://cinemaster-dev.github.io/
En resumen, el lanzamiento de Kuaishou Cinemaster3d es un avance importante en el campo de la creación de video. La aplicación madura de esta tecnología enriquecerá aún más el ecosistema de contenido de video y promoverá el desarrollo sostenible de la tecnología de IA en el campo de video.