Framer

Outro código-fonte

Baixar

Construidor

Framer: Interpolação de quadros interativos

Wen Wang ^1,2 , Qiuyu Wang ² , Kecheng Zheng ² , Hao Ouyang ² , Zhekai Chen ¹ , Biao Gong ² , Hao Chen ¹ ,
Yujun Shen ² , Chunhua Shen ¹

¹ Universidade de Zhejiang, China, ² Grupo de Formigas

? DR;TL

Propomos o Framer, um método de interpolação de quadros mais controlável e interativo que permite aos usuários produzir quadros de transição suave entre duas imagens, personalizando a trajetória dos pontos-chave selecionados, melhorando o controle e lidando com casos desafiadores.

Principais reivindicações

O método proposto, Framer, fornece interpolação interativa de quadros, permitindo aos usuários personalizar transições adaptando as trajetórias dos pontos-chave selecionados. Esta abordagem atenua a ambiguidade da transformação da imagem, permitindo um controle muito mais preciso dos movimentos locais e melhorando a capacidade do modelo de lidar com casos desafiadores (por exemplo, objetos com diferentes formas e estilos). O Framer também inclui um modo de “piloto automático” que estima automaticamente pontos-chave e refina trajetórias, simplificando o processo e permitindo resultados de movimento natural e temporalmente coerentes.

Metodologia

Este trabalho utiliza um modelo de difusão de imagem para vídeo pré-treinado em grande escala (Stable Video Diffusion) como modelo base. Ele introduz condicionamento adicional de quadro final para facilitar a interpolação de vídeo e incorpora um ramo de controle de trajetória de ponto para interação do usuário.

Principais resultados

O Framer supera os métodos existentes de interpolação de quadros em termos de qualidade visual e movimento natural, especialmente em casos que envolvem movimentos complexos e mudanças significativas na aparência. A avaliação quantitativa utilizando FVD (Fréchet Video Distance) demonstra desempenho superior em comparação com outros métodos. Estudos de usuários mostram uma forte preferência pelo resultado do Framer, destacando sua eficácia na produção de resultados realistas e visualmente atraentes.

Registro de alterações

Libere o código e os pontos de verificação.
28 de outubro de 2024. Huggingface Gradio Demo já está disponível aqui!
25 de outubro de 2024. Inicie a página do projeto e carregue a pré-impressão do arXiv.

Vitrines

Observe que os vídeos são compactados espacialmente. Indicamos aos leitores a página do projeto para os vídeos originais.

1. Interpolação de vídeo com interação do usuário

Imagem inicial	Trajetória de entrada e resultados de interpolação	Imagem final

2. Transformação de imagem com interação do usuário

Imagem inicial	Trajetória de entrada e resultados de interpolação	Imagem final

3. Interpolação de vídeo sem controle de entrada do usuário

Imagem inicial	Resultados de interpolação	Imagem final

4. Síntese de nova visão

Imagem inicial	Resultados de interpolação	Imagem final

5. Interpolação de desenhos animados e esboços

Imagem inicial	Resultados de interpolação	Imagem final

6. Geração de vídeo com lapso de tempo.

Imagem inicial	Resultados de interpolação	Imagem final

Citação BibTeX

Considere citar nosso artigo se nosso código for útil:

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}