ToonCrafter untuk windows

ToonCrafter: Interpolasi Kartun Generatif

? Perkenalan

️ Silakan periksa penafian kami terlebih dahulu.

? ToonCrafter dapat menginterpolasi dua gambar kartun dengan memanfaatkan difusi gambar-ke-video yang telah dilatih sebelumnya. Silakan periksa halaman dan kertas proyek kami untuk informasi lebih lanjut.

1.1 Etalase (512x320)

Masukkan bingkai awal	Bingkai akhir masukan	Video yang dihasilkan

1.2 Panduan sketsa yang jarang

Masukkan bingkai awal	Bingkai akhir masukan	Panduan sketsa masukan	Video yang dihasilkan

2. Aplikasi

2.1 Interpolasi Sketsa Kartun (lihat halaman proyek untuk lebih jelasnya)

Masukkan bingkai awal	Bingkai akhir masukan	Video yang dihasilkan

2.2 Pewarnaan Sketsa Berbasis Referensi

Sketsa masukan	Referensi masukan	Hasil pewarnaan

log perubahan

• Tambahkan kontrol sketsa dan fungsi pewarnaan.
• [29.05.2024] : Kode rilis dan bobot model.
• [28.05.2024] : Luncurkan halaman proyek dan perbarui pracetak arXiv.

? Model

Model	Resolusi	Anggota GPU. & Waktu Inferensi (A100, ddim 50 langkah)	Pos pemeriksaan
ToonCrafter_512	320x512	TBD ( perframe_ae=True )	Memeluk Wajah

Saat ini, ToonCrafter kami dapat mendukung pembuatan video hingga 16 frame dengan resolusi 512x320. Waktu inferensi dapat dikurangi dengan menggunakan langkah DDIM yang lebih sedikit.

Pengaturan

⚒️ Instalasi

prasyarat: 3.11>=python>=3.8 , CUDA>=11.3 , ffmpeg dan git .

Python dan Git:

• Python 3.10.11: https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe
• git: https://git-scm.com/download/win

Berikan akses skrip tidak terbatas ke PowerShell agar venv dapat berfungsi:

• Buka jendela PowerShell administrator
• Ketik Set-ExecutionPolicy Unrestricted dan jawab A
• Tutup jendela admin PowerShell

 git clone https://github.com/sdbds/ToonCrafter-for-windows

Instal dengan Powershell, jalankan install.ps1 atau install-cn.ps1 (untuk bahasa Mandarin)

Tidak perlu mengunduh model secara manual

? Kesimpulan

1. Baris perintah

Unduh ToonCrafter_512 yang telah dilatih sebelumnya dan letakkan model.ckpt di checkpoints/tooncrafter_512_interp_v1/model.ckpt .

  sh scripts/run.sh

2. Demo Gradio Lokal

Powershell dijalankan dengan run_gui.ps1

? Penafian

Tenang. Kerangka kerja kami membuka era interpolasi kartun generatif, namun karena keragaman video generatif sebelumnya, tingkat keberhasilan tidak dijamin.

️ Ini adalah eksplorasi penelitian sumber terbuka, bukan produk komersial. Itu tidak dapat memenuhi semua harapan Anda.

Proyek ini berupaya memberikan dampak positif pada domain pembuatan video berbasis AI. Pengguna diberikan kebebasan untuk membuat video menggunakan alat ini, namun mereka diharapkan mematuhi hukum setempat dan menggunakannya secara bertanggung jawab. Pengembang tidak bertanggung jawab atas potensi penyalahgunaan oleh pengguna.

---