A equipe DeepMind do Google lançou um modelo de IA chamado "Generative Omnimatte", que pode dividir vídeos em várias camadas como um editor habilidoso, separar com precisão pessoas, objetos e fundos e até mesmo "preencher" as partes bloqueadas para obter vários recursos interessantes. efeitos especiais. Esta tecnologia rompe as limitações da tecnologia tradicional de vídeo matting e pode facilmente concluir tarefas complexas de edição de vídeo sem a necessidade de uma tela verde ou informações detalhadas. Diga adeus às operações tediosas, torne a edição de vídeo simples e fácil de usar e todos poderão se tornar mestres em edição de vídeo!
Você ainda se lembra daqueles efeitos especiais legais nos filmes? Os objetos desaparecem do nada e as cenas mudam instantaneamente. Agora, a equipe do Google DeepMind desenvolveu um modelo de IA chamado “Generative Omnimatte” para tornar esses efeitos especiais possíveis? Não é mais apenas para filmes! Esta IA é como um editor habilidoso, que pode dividir o vídeo em múltiplas camadas, cada camada contendo um objeto completo e as sombras, reflexos e outros efeitos que produz.
A tecnologia tradicional de matting de vídeo geralmente depende de captura de tela verde ou de informações precisas de profundidade, que são muito complexas de operar. Este modelo de IA é totalmente livre dessas limitações. Não requer nenhuma informação adicional e pode separar perfeitamente os personagens, objetos e fundos do vídeo, podendo até "preencher o cérebro" nas partes oclusas.
O núcleo deste modelo de IA é um modelo de remoção de vídeo chamado “Casper”. É como uma borracha mágica que pode apagar com precisão qualquer objeto especificado no vídeo, e suas sombras e reflexos desaparecerão, enquanto o fundo permanecerá intacto.
Mais importante ainda, ele também pode recombinar objetos e fundos de acordo com as necessidades do usuário para obter vários efeitos criativos, como "teletransportar" personagens de uma cena para outra, ou alterar a velocidade de movimento dos objetos, ou até mesmo fazê-los voltar no tempo!
Com este artefato, será muito fácil editar vídeos no futuro. Você pode adicionar quaisquer efeitos especiais que desejar. Você não precisa se preocupar com problemas técnicos. para "teletransportar" um amigo de casa para a praia, você só precisa usar o Casper para recortar seus amigos e colocá-los no fundo da praia. Não é muito simples. Você pode até deixar seus amigos andarem de costas no vídeo. , ou copie-os para vários amigos e dancem juntos, como quiser. É interessante pensar nisso!
Claro, Generative Omnimatte ainda está em fase de desenvolvimento e ainda existem alguns pequenos bugs que precisam ser resolvidos. Por exemplo, se houver vários objetos muito semelhantes no vídeo, a IA pode não conseguir dizer quem é quem e confundi-los. Além disso, se o objeto se deformar, como um poste torto, a IA não saberá como lidar com isso. Porém, acredito que em breve a equipe do Google DeepMind resolverá esses problemas e tornará o Generative Omnimatte ainda mais perfeito!
Endereço do projeto: https://gen-omnimatte.github.io/
Endereço do artigo: https://arxiv.org/pdf/2411.16683
Generative Omnimatte trouxe mudanças revolucionárias na edição de vídeo e nos trará aplicações e efeitos especiais mais surpreendentes no futuro, vamos esperar para ver!