Framer

Autre code source

Télécharger

Encadreur

Framer : Interpolation d'image interactive

Wen Wang ^1,2 , Qiuyu Wang ² , Kecheng Zheng ² , Hao Ouyang ² , Zhekai Chen ¹ , Biao Gong ² , Hao Chen ¹ ,
Yujun Shen ² , Chunhua Shen ¹

¹ Université du Zhejiang, Chine, ² Ant Group

? TL;DR

Nous proposons Framer, une méthode d'interpolation d'images plus contrôlable et interactive qui permet aux utilisateurs de produire des images à transition fluide entre deux images en personnalisant la trajectoire des points clés sélectionnés, en améliorant le contrôle et en gérant les cas difficiles.

Principales revendications

La méthode proposée, Framer, fournit une interpolation de trame interactive, permettant aux utilisateurs de personnaliser les transitions en adaptant les trajectoires des points clés sélectionnés. Cette approche atténue l'ambiguïté de la transformation d'image, permettant un contrôle beaucoup plus fin des mouvements locaux et améliorant la capacité du modèle à gérer des cas difficiles (par exemple, des objets de formes et de styles différents). Framer comprend également un mode « pilote automatique » qui estime automatiquement les points clés et affine les trajectoires, simplifiant ainsi le processus et permettant des résultats naturels et cohérents dans le temps.

Méthodologie

Ce travail utilise un modèle de diffusion image-vidéo pré-entraîné à grande échelle (Stable Video Diffusion) comme modèle de base. Il introduit un conditionnement supplémentaire de fin de trame pour faciliter l'interpolation vidéo et intègre une branche de contrôle de trajectoire ponctuelle pour l'interaction de l'utilisateur.

Résultats clés

Framer surpasse les méthodes d'interpolation d'images existantes en termes de qualité visuelle et de mouvement naturel, en particulier dans les cas impliquant des mouvements complexes et des changements d'apparence importants. L'évaluation quantitative utilisant FVD (Fréchet Video Distance) démontre des performances supérieures par rapport aux autres méthodes. Les études d'utilisateurs montrent une forte préférence pour les résultats de Framer, soulignant son efficacité à produire des résultats réalistes et visuellement attrayants.

Journal des modifications

Libérez le code et les points de contrôle.
28 octobre 2024. La démo Huggingface Gradio est maintenant disponible ici !
25 octobre 2024. Lancez la page du projet et téléchargez la préimpression arXiv.

Vitrines

Notez que les vidéos sont compressées spatialement. Nous renvoyons les lecteurs à la page du projet pour les vidéos originales.

1. Interpolation vidéo avec interaction utilisateur

Image de départ	Trajectoire d’entrée et résultats d’interpolation	Image de fin

2. Morphing d'image avec interaction utilisateur

Image de départ	Trajectoire d’entrée et résultats d’interpolation	Image de fin

3. Interpolation vidéo sans contrôle d'entrée utilisateur

Image de départ	Résultats d'interpolation	Image de fin

4. Nouvelle synthèse de vues

Image de départ	Résultats d'interpolation	Image de fin

5. Interpolation de dessins animés et de croquis

Image de départ	Résultats d'interpolation	Image de fin

6. Génération vidéo accélérée.

Image de départ	Résultats d'interpolation	Image de fin

Citation BibTeX

Veuillez envisager de citer notre article si notre code est utile :

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}