? ToonCrafter peut interpoler deux images de dessins animés en tirant parti des priorités de diffusion image-vidéo pré-entraînées. Veuillez consulter notre page de projet et notre article pour plus d'informations.
| Image de départ d’entrée | Trame de fin d'entrée | Vidéo générée |
| Image de départ d’entrée | Trame de fin d'entrée | Conseils pour l'esquisse d'entrée | Vidéo générée |
| Image de départ d’entrée | Trame de fin d'entrée | Vidéo générée |
| Croquis d'entrée | Référence d'entrée | Résultats de colorisation |
| Modèle | Résolution | Mémoire GPU. & Temps d'inférence (A100, ddim 50 étapes) | Point de contrôle |
|---|---|---|---|
| ToonCrafter_512 | 320x512 | À déterminer ( perframe_ae=True ) | Visage câlin |
Actuellement, notre ToonCrafter peut prendre en charge la génération de vidéos jusqu'à 16 images avec une résolution de 512x320. Le temps d'inférence peut être réduit en utilisant moins d'étapes DDIM.
prérequis : 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg et git .
Python et Git :
Donnez un accès illimité aux scripts à PowerShell pour que venv puisse fonctionner :
Set-ExecutionPolicy Unrestricted et répondez A git clone https://github.com/sdbds/ToonCrafter-for-windows
Installez avec Powershell, exécutez install.ps1 ou install-cn.ps1 (pour le chinois)
Téléchargez ToonCrafter_512 pré-entraîné et placez le model.ckpt dans checkpoints/tooncrafter_512_interp_v1/model.ckpt .
sh scripts/run.sh Powershell exécuté avec run_gui.ps1
Calme-toi. Notre cadre ouvre l'ère de l'interpolation générative de dessins animés, mais en raison de la variabilité des vidéos génératives antérieures, le taux de réussite n'est pas garanti.
Ce projet s'efforce d'avoir un impact positif sur le domaine de la génération vidéo basée sur l'IA. Les utilisateurs ont la liberté de créer des vidéos à l'aide de cet outil, mais ils doivent se conformer aux lois locales et l'utiliser de manière responsable. Les développeurs n'assument aucune responsabilité en cas d'utilisation abusive potentielle par les utilisateurs.
