Unduh controlanimate - unduh kode sumber controlanimate

controlanimate

Kode Sumber AI

1.0.0

Unduh

KontrolAnimate

Menggabungkan AnimateDiff dengan Multi-ControlNet dan Img2Img untuk aplikasi Vid2Vid. Perpustakaan kecil ini secara khusus berfokus pada aplikasi Vid2Vid dengan menggunakan ControlNet (atau Multi-ControlNet) untuk memandu pembuatan video dan AnimateDiff untuk konsistensi.
Selain itu, ia menggunakan Img2Img untuk membuat video yang lebih konsisten (setelah periode pertama). Mirip dengan AnimateDiff, ini memungkinkan penggunaan model DreamBooth/LoRA selain model dasar Stable Diffusion 1.5.
Ini adalah rilis awal jadi harap perkirakan potensi masalah dan bug. Masukan, saran, dan permintaan fitur dipersilakan.

ControlAnimate

Berita

20 November 2023 - Sekarang mendukung Adaptor IP, xformers, dan Pencocokan Warna!
12 November 2023 - Sekarang mendukung LCM-LoRA & ControlNet untuk semua kombinasi!
7 November 2023 - Kini mendukung Model Konsistensi Laten (LCM) - Mencapai peningkatan kinerja 10X lipat!

Fitur yang Didukung

? Adaptor IP (Digunakan untuk Meningkatkan Kesamaan Kumpulan Bingkai AnimateDiff)
? Model Konsistensi Laten LoRA (LCM-LoRA)
? Model Konsistensi Laten (LCM) Asli
? Multi-ControlNet dapat Dikombinasikan dengan LCM, dll.
? Pembobotan Cepat dan Perintah Panjang (Paksa)
? DreamBooth & LoRA
? Interpolasi FFMPEG
? Pencocokan Warna Antar Batch untuk Meningkatkan Konsistensi
? Tumpang Tindih Laten (Img2Img & ControlNet) & Tumpang Tindih Bingkai (Pencampuran)
? Peningkatan dan Peningkatan Wajah (GFPGAN & RealESRGAN)
? Pengambilan Sampel Kecepatan Bingkai, Durasi, dan Resolusi Video Input Sewenang-wenang
? xformers Diaktifkan

Kompatibilitas dan Persyaratan

Basis kode ini hanya diuji di Linux (Ubuntu 22.04). Itu diuji pada mesin Intel dengan NVIDIA Gefore RTX 3090 (VRAM 24 GB) dan membutuhkan setidaknya 16 GB RAM.

Instalasi

Pastikan Anda telah menginstal Anaconda (https://www.anaconda.com/download).
Pastikan juga FFMPEG telah terinstal dan diatur dengan benar (Anda dapat mengikuti panduan instalasi berikut: "Panduan 1" dan jika masih ada masalah ini: "Panduan 2" - Anda dapat mengatur jalur FFMPEG di configs/prompts yaml file)

 git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate

bash download.sh

conda env create -f env.yml

Vid2Vid

Setelah mengatur file konfigurasi 'configs/prompts/SampleConfig.yaml', jalankan perintah berikut (jangan lupa untuk menunjuk ke file video masukan yang valid):

 conda activate controlanimate
bash start.sh

Diuji pada mesin dengan satu RTX 3090.

Pembobotan Segera

Pembobotan cepat didasarkan pada Compel. Anda dapat menggunakan + atau (...)+ untuk kepentingan atau menambahkan bobot seperti ini: (cat)1.2 Demikian pula Anda dapat menggunakan tanda negatif (-) untuk mengurangi bobot atau menggunakan bobot di bawah 1. Silakan merujuk ke https:// github.com/damian0815/compel/blob/main/Reference.md untuk info lebih lanjut.

Hasil

Empat ControlNets dan Tumpang Tindih Laten (configs/prompts/SampleConfig.yaml)
LCM (Tanpa ControlNet) (configs/prompts/SampleConfigLCM.yaml)
LCM-LoRA + Multi-ControlNet (konfigurasi/prompts/SampleConfigLCMLoRA.yaml)
Adaptor IP + LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigIPAdapter.yaml)

Semua yang harus dilakukan

Hubungi kami

Hamed Omidvar, Ph.D. : [email protected]
Vahideh Akhlaghi, Ph.D. : [email protected]

Lisensi

Basis kode ini dirilis di bawah lisensi Apache v2.0. Untuk lisensi basis kode yang menjadi dasar repositori ini, silakan merujuk ke halaman Github/Situs Web terkait.