Kuaishou ha lanzado un nuevo Cinemaster Framework de texto a video, que tiene capacidades de percepción 3D y se conoce como la versión de video de Controlnet, que proporciona a los usuarios una libertad creativa sin precedentes. Permite a los usuarios controlar con precisión la posición y el movimiento de la cámara de los objetos en el video a través de indicaciones de texto y señales de control, como mapas de profundidad, pistas de cámara, etiquetas de objetos y otras señales de control, para lograr un control preciso del contenido de video generado. Esto marca la tecnología de generación de videos AI a un nuevo nivel y mejorará en gran medida la eficiencia de la creación de video y las capacidades de expresión creativa.
La ventaja central de Cinemaster son sus fuertes capacidades de control. Los usuarios no solo pueden generar videos a través de indicaciones de texto tradicionales, sino también hacer ajustes finos basados en señales de control como mapas de profundidad, pistas de cámara, etiquetas de objetos, etc., para crear obras más creativas y personalizadas. Kuaishou también proporciona un conjunto de procesos para extraer cajas de límites 3D y pistas de cámara de videos a gran escala, proporcionando un poderoso soporte de datos para la capacitación y aplicación de Cinemaster. La página del proyecto de Cinemaster está en línea, y los usuarios interesados pueden visitar Cinemaster-dev.github.io/.
La aparición de Cinemaster indica que el campo de la generación de videos de IA está a punto de marcar una nueva ola de desarrollo de sus poderosas capacidades de control y sus convenientes métodos de operación traerán a los usuarios una experiencia creativa más rica y promover el desarrollo de la creación de contenido de video. Esperamos con ansias el futuro de Cinemaster para traer más sorpresas e innovaciones.