Framer

Otro código fuente

Descargar

enmarcador

Framer: interpolación de cuadros interactivos

Wen Wang ^1,2 , Qiuyu Wang ² , Kecheng Zheng ² , Hao Ouyang ² , Zhekai Chen ¹ , Biao Gong ² , Hao Chen ¹ ,
Yujun Shen ² , Chunhua Shen ¹

¹ Universidad de Zhejiang, China, ² Grupo de hormigas

? TL;DR

Proponemos Framer, un método de interpolación de cuadros más controlable e interactivo que permite a los usuarios producir cuadros de transición suave entre dos imágenes personalizando la trayectoria de puntos clave seleccionados, mejorando el control y manejando casos desafiantes.

Principales Reclamaciones

El método propuesto, Framer, proporciona interpolación de cuadros interactivos, lo que permite a los usuarios personalizar las transiciones adaptando las trayectorias de los puntos clave seleccionados. Este enfoque mitiga la ambigüedad de la transformación de imágenes, lo que permite un control mucho más preciso de los movimientos locales y mejora la capacidad del modelo para manejar casos desafiantes (por ejemplo, objetos con diferentes formas y estilos). Framer también incluye un modo de "piloto automático" que estima automáticamente puntos clave y refina las trayectorias, simplificando el proceso y permitiendo resultados con movimiento natural y temporalmente coherentes.

Metodología

Este trabajo utiliza un modelo de difusión de imagen a video previamente entrenado a gran escala (difusión de video estable) como modelo base. Introduce un acondicionamiento adicional del cuadro final para facilitar la interpolación de video e incorpora una rama de control de trayectoria de puntos para la interacción del usuario.

Resultados clave

Framer supera a los métodos de interpolación de cuadros existentes en términos de calidad visual y movimiento natural, particularmente en casos que involucran movimientos complejos y cambios significativos en la apariencia. La evaluación cuantitativa utilizando FVD (Fréchet Video Distance) demuestra un rendimiento superior en comparación con otros métodos. Los estudios de usuarios muestran una fuerte preferencia por la producción de Framer, destacando su eficacia para producir resultados realistas y visualmente atractivos.

Registro de cambios

Libere el código y los puntos de control.
28 de octubre de 2024. ¡La demostración de Huggingface Gradio ya está disponible aquí!
25 de octubre de 2024. Inicie la página del proyecto y cargue la preimpresión de arXiv.

Vitrinas

Tenga en cuenta que los vídeos están comprimidos espacialmente. Remitimos a los lectores a la página del proyecto para ver los videos originales.

1. Interpolación de vídeo con interacción del usuario

Imagen de inicio	Trayectoria de entrada y resultados de interpolación	Imagen final

2. Transformación de imágenes con interacción del usuario

Imagen de inicio	Trayectoria de entrada y resultados de interpolación	Imagen final

3. Interpolación de vídeo sin control de entrada del usuario

Imagen de inicio	Resultados de interpolación	Imagen final

4. Síntesis de vista novedosa

Imagen de inicio	Resultados de interpolación	Imagen final

5. Interpolación de dibujos animados y bocetos

Imagen de inicio	Resultados de interpolación	Imagen final

6. Generación de vídeos en intervalos de tiempo.

Imagen de inicio	Resultados de interpolación	Imagen final

Cita BibTeX

Considere citar nuestro artículo si nuestro código es útil:

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}