O editor de Downcodes levará você a entender a mais recente tecnologia ReCapture lançada pelo Google Research! Esta incrível tecnologia reinterpreta seus vídeos de uma perspectiva totalmente nova, proporcionando uma experiência de visualização sem precedentes. Não é uma simples edição de vídeo, mas usa tecnologia de IA para gerar uma nova versão com trajetórias de câmera personalizadas com base no vídeo que você fornece, fazendo com que você pareça ter a capacidade de gravar com várias câmeras, mesmo para vídeos diários gravados com seu celular. . Também pode ter um efeito semelhante ao de um filme. Você está pronto? Vamos explorar a magia do ReCapture juntos!
O Google Research lançou recentemente uma nova tecnologia chamada ReCapture, que permite reviver seus próprios vídeos de uma nova perspectiva. A tecnologia ReCapture pode gerar uma nova versão com trilhas de câmera customizadas com base no vídeo fornecido pelo usuário, o que significa que você pode assistir ao conteúdo do vídeo de uma perspectiva não encontrada no vídeo original, e ainda manter o movimento original dos personagens e cenas em o vídeo.
ReCapture é como um editor mágico que pode gerar uma nova versão com uma nova perspectiva com base no vídeo que você fornece. Por exemplo, se você gravar um vídeo de um cachorro brincando com seu celular, o ReCapture pode ajudá-lo a gerar um vídeo tirado da perspectiva do cachorro. Não é incrível?
Então, como o ReCapture consegue essa “mágica”? Na verdade, o princípio por trás disso não é complicado. Ele primeiro usa um modelo de difusão multivisualização ou tecnologia de renderização de nuvem de pontos para gerar um vídeo aproximado com base na nova perspectiva desejada. Este vídeo bruto é como um jade não polido, a imagem pode estar incompleta, o tempo pode ser inconsistente e pode balançar como um bêbado.
Em seguida, o ReCapture usará sua arma secreta - a tecnologia de “ajuste fino de vídeo de máscara” para “polir” esse vídeo bruto. Esta tecnologia é como um artesão habilidoso que usa duas ferramentas especiais – LoRA espacial e LoRA temporal para reparar e otimizar o vídeo. Spatial LoRA é como uma “esteticista”, responsável por aprender os personagens e as informações da cena do vídeo original para deixar a imagem mais nítida e bonita. Time LoRA é um “mestre de ritmo” responsável por aprender os movimentos da cena a partir de novas perspectivas para tornar a reprodução do vídeo mais suave e natural.
Através do esforço conjunto destes dois “mestres”, o vídeo bruto foi transformado num novo vídeo claro, coerente e dinâmico. Além disso, para deixar o efeito do vídeo mais perfeito, o ReCapture também utilizará a tecnologia SDEdit para dar retoques finais ao vídeo, assim como a maquiagem, tornando o vídeo mais refinado e delicado.
Os pesquisadores do Google dizem que o ReCapture pode lidar com vários tipos de vídeos e transições de perspectiva sem exigir grandes quantidades de dados de treinamento. Isso significa que mesmo se você for apenas um entusiasta de vídeo comum, poderá criar facilmente vídeos "multicâmeras" de nível profissional com o ReCapture.
Endereço do projeto: https://generative-video-camera-controls.github.io/
O surgimento da tecnologia ReCapture trouxe, sem dúvida, novas possibilidades para o campo da criação de vídeo. Simplifica o processo de produção de vídeo multivisualização, permitindo que mais pessoas experimentem facilmente a alegria da criação. Acredito que no futuro o ReCapture será aplicado em mais áreas e nos trará mais surpresas!