Kuaishou lançou a estrutura de geração de texto para vídeo do Cinemaster3D, um modelo de geração de vídeo baseado na tecnologia ControlNet. A estrutura permite que os usuários controlem com precisão a posição, trajetória de movimento e linguagem da lente dos elementos no vídeo através de sinais de controle, como mapas de profundidade, trajetórias de câmera e etiquetas de objetos, alcançando precisão e liberdade criativas sem precedentes. Isso marca a entrada de uma nova era de inteligência no campo da criação de vídeo, diminuindo o limite técnico para a produção de vídeo profissional e trazendo enorme conveniência criativa para criadores profissionais e usuários comuns.
A tecnologia ControlNet oferece controlabilidade poderosa do CineMaster3D, e os usuários podem descrever com precisão imagens de vídeo como "Master Ma Liang". A Kuaishou também lançou simultaneamente um processo de extração de caixas limitadas em 3D e faixas de câmera de vídeos em larga escala, permitindo que os usuários criem a criação secundária de vídeos existentes e obtenha efeitos avançados de edição, como transferência de estilo e substituição da cena. O lançamento do Cinemaster3D promoverá ainda mais a inovação nos campos da tecnologia curta e da IA e promoverá a prosperidade e o desenvolvimento do ecossistema de conteúdo.
O destaque mais notável da estrutura do Cinemaster é seu controle preciso sobre a posição do objeto e o movimento da câmera. Os usuários podem ajustar finamente a posição, a trajetória de movimento e a linguagem geral da lente dos elementos no vídeo, inserindo sinais de controle, como mapas de profundidade, faixas de câmera e etiquetas de objetos. Isso significa que os criadores não precisam mais confiar inteiramente na "Play Free" da IA, mas podem descrever com precisão as imagens de vídeo em suas mentes como "Ma Liang".
O que é ainda mais surpreendente é que Kuaishou também lançou simultaneamente um conjunto de processos para extrair caixas limitadas em 3D e faixas de câmera de vídeos em larga escala. Essa tecnologia significa que os usuários podem não apenas criar vídeos controláveis do zero, mas também a criação secundária dos vídeos existentes, extrair informações 3D dos vídeos e utilizá -los, de modo a obter efeitos avançados de edição, como transferência de estilo e substituição de cena, e expandir ainda mais A possibilidade de criação de vídeo.
O lançamento do Cinemaster indica que a criação de conteúdo de vídeo está se movendo em direção a uma nova era de inteligência. Abaixa as barreiras técnicas para a produção de vídeo profissional e permite que uma base de usuários mais ampla crie facilmente conteúdo de vídeo de alta qualidade e personalização. Sejam criadores profissionais ou usuários comuns, eles se beneficiarão e desfrutarão dos dividendos criativos trazidos pelo progresso tecnológico. A decisão de Kuaishou, sem dúvida, consolidará ainda mais sua posição de liderança nos campos da tecnologia curta e da IA e promoverá a prosperidade e o desenvolvimento da inovação tecnológica e do ecossistema de conteúdo tecnológico de toda a indústria.
Endereço do projeto: https://cinemaster-dev.github.io/
Em suma, o lançamento do Kuaishou Cinemaster3D é um grande avanço no campo da criação de vídeo. A aplicação madura dessa tecnologia enriquecerá ainda mais o ecossistema de conteúdo de vídeo e promoverá o desenvolvimento sustentável da tecnologia de IA no campo de vídeo.