A Kuaishou lançou uma nova estrutura de geração de texto para vídeo Cinemater, que possui recursos de percepção 3D e é conhecida como a versão em vídeo do ControlNet, fornecendo aos usuários liberdade criativa sem precedentes. Ele permite que os usuários controlem com precisão a posição e o movimento da câmera de objetos no vídeo através de prompts de texto e sinais de controle, como mapas de profundidade, faixas de câmera, etiquetas de objeto e outros sinais de controle, para obter controle preciso do conteúdo de vídeo gerado. Isso marca a tecnologia de geração de vídeo da IA para um novo nível e melhorará bastante os recursos de eficiência da criação de vídeo e expressão criativa.
A vantagem central do Cinemaster são seus fortes recursos de controle. Os usuários podem não apenas gerar vídeos através de avisos de texto tradicionais, mas também fazem ajustes finos com base em sinais de controle, como mapas de profundidade, faixas de câmera, etiquetas de objeto etc., para criar trabalhos mais criativos e personalizados. A Kuaishou também fornece um conjunto de processos para extrair caixas limitadas em 3D e faixas de câmera de vídeos em larga escala, fornecendo suporte de dados poderoso para o treinamento e aplicação do cinemater. A página do projeto do Cinemaster está online e os usuários interessados podem visitar o Cinemaster-Dev.github.io/.
O surgimento do Cinemaster indica que o campo da geração de vídeos de IA está prestes a inaugurar uma nova onda de desenvolvimento. Esperamos ansiosamente o futuro do Cinemaster para trazer mais surpresas e inovações.