ToonCrafter para ventanas

ToonCrafter: interpolación generativa de dibujos animados

? Introducción

️ Por favor, consulte primero nuestro descargo de responsabilidad.

? ToonCrafter puede interpolar dos imágenes de dibujos animados aprovechando los procesos previos de difusión de imagen a video previamente entrenados. Consulte nuestra página del proyecto y el documento para obtener más información.

1.1 Vitrinas (512x320)

Cuadro inicial de entrada	Cuadro final de entrada	Vídeo generado

1.2 Guía de bocetos escasos

Cuadro inicial de entrada	Cuadro final de entrada	Guía de boceto de entrada	Vídeo generado

2. Aplicaciones

2.1 Interpolación de bocetos de dibujos animados (consulte la página del proyecto para obtener más detalles)

Cuadro inicial de entrada	Cuadro final de entrada	Vídeo generado

2.2 Colorización de bocetos basada en referencias

Bosquejo de entrada	Referencia de entrada	Resultados de coloración

Registro de cambios

• Agregue control de boceto y función de coloración.
• [2024.05.29] : Código de versión y pesos del modelo.
• [2024.05.28] : Inicie la página del proyecto y actualice la preimpresión de arXiv.

? Modelos

Modelo	Resolución	Memoria GPU. & Tiempo de inferencia (A100, ddim 50 pasos)	Control
ToonCrafter_512	320x512	Por determinar ( perframe_ae=True )	abrazando la cara

Actualmente, nuestro ToonCrafter puede soportar la generación de vídeos de hasta 16 fotogramas con una resolución de 512x320. El tiempo de inferencia se puede reducir utilizando menos pasos DDIM.

Configuración

⚒️ Instalación

requisitos previos: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg y git .

Python y Git:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• Git: https://git-scm.com/download/win

Otorgue acceso al script sin restricciones a powershell para que venv pueda funcionar:

• Abrir una ventana de administrador de PowerShell
• Escriba Set-ExecutionPolicy Unrestricted y responda A
• Cerrar la ventana de administración de PowerShell

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Instale con Powershell ejecute install.ps1 o install-cn.ps1 (para chino)

No es necesario descargar modelos manualmente

? Inferencia

1. Línea de comando

Descargue ToonCrafter_512 previamente entrenado y coloque el model.ckpt en checkpoints/tooncrafter_512_interp_v1/model.ckpt .

  sh scripts/run.sh

2. Demostración local de Gradio

Powershell se ejecuta con run_gui.ps1

? Descargo de responsabilidad

Cálmate. Nuestro marco abre la era de la interpolación generativa de dibujos animados, pero debido a la variedad de videos generativos anteriores, la tasa de éxito no está garantizada.

️ Se trata de una exploración de investigación de código abierto, en lugar de productos comerciales. No puede cumplir todas tus expectativas.

Este proyecto se esfuerza por impactar positivamente el dominio de la generación de videos impulsados ​​por IA. Los usuarios tienen la libertad de crear videos usando esta herramienta, pero se espera que cumplan con las leyes locales y la utilicen de manera responsable. Los desarrolladores no asumen ninguna responsabilidad por un posible mal uso por parte de los usuarios.

---