ToonCrafter für Windows

ToonCrafter: Generative Cartoon-Interpolation

? Einführung

️ Bitte lesen Sie zunächst unseren Haftungsausschluss.

? ToonCrafter kann zwei Cartoon-Bilder interpolieren, indem es die vorab trainierten Bild-zu-Video-Diffusions-Priors nutzt. Weitere Informationen finden Sie auf unserer Projektseite und im Papier.

1.1 Vitrinen (512x320)

Geben Sie den Startrahmen ein	Geben Sie den Endrahmen ein	Erstelltes Video

1.2 Anleitung für spärliche Skizzen

Geben Sie den Startrahmen ein	Geben Sie den Endrahmen ein	Eingabeskizzenführung	Erstelltes Video

2. Bewerbungen

2.1 Cartoon-Skizzen-Interpolation (weitere Details finden Sie auf der Projektseite)

Geben Sie den Startrahmen ein	Geben Sie den Endrahmen ein	Erstelltes Video

2.2 Referenzbasierte Skizzenkolorierung

Eingabeskizze	Eingabereferenz	Ergebnisse der Kolorierung

Änderungsprotokoll

• Skizzensteuerung und Kolorierungsfunktion hinzufügen.
• [29.05.2024] : Release-Code und Modellgewichte.
• [28.05.2024] : Starten Sie die Projektseite und aktualisieren Sie den arXiv-Preprint.

? Modelle

Modell	Auflösung	GPU-Speicher. & Inferenzzeit (A100, ddim 50 Schritte)	Kontrollpunkt
ToonCrafter_512	320x512	TBD ( perframe_ae=True )	Umarmendes Gesicht

Derzeit unterstützt unser ToonCrafter die Erstellung von Videos mit bis zu 16 Bildern und einer Auflösung von 512 x 320. Die Inferenzzeit kann durch die Verwendung weniger DDIM-Schritte reduziert werden.

Aufstellen

⚒️ Installation

Voraussetzungen: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg und git .

Python und Git:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• Git: https://git-scm.com/download/win

Gewähren Sie uneingeschränkten Skriptzugriff auf Powershell, damit venv funktionieren kann:

• Öffnen Sie ein Administrator-PowerShell-Fenster
• Geben Sie Set-ExecutionPolicy Unrestricted ein und antworten Sie mit A
• Schließen Sie das Admin-PowerShell-Fenster

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Installieren Sie mit Powershell und führen Sie install.ps1 oder install-cn.ps1 (für Chinesisch) aus.

Modelle müssen nicht manuell heruntergeladen werden

? Schlussfolgerung

1. Befehlszeile

Laden Sie das vorab trainierte ToonCrafter_512 herunter und fügen Sie model.ckpt in checkpoints/tooncrafter_512_interp_v1/model.ckpt .

  sh scripts/run.sh

2. Lokale Gradio-Demo

Powershell mit run_gui.ps1 ausführen

? Haftungsausschluss

Beruhige dich. Unser Framework eröffnet die Ära der generativen Cartoon-Interpolation, aber aufgrund der Vielfalt generativer Videos im Vorfeld ist die Erfolgsquote nicht garantiert.

️ Hierbei handelt es sich um eine Open-Source-Forschungsexploration und nicht um kommerzielle Produkte. Es kann nicht alle Ihre Erwartungen erfüllen.

Ziel dieses Projekts ist es, den Bereich der KI-gesteuerten Videogenerierung positiv zu beeinflussen. Den Nutzern wird die Freiheit eingeräumt, mit diesem Tool Videos zu erstellen, es wird jedoch von ihnen erwartet, dass sie die örtlichen Gesetze einhalten und es verantwortungsvoll nutzen. Die Entwickler übernehmen keine Verantwortung für einen möglichen Missbrauch durch Benutzer.

---