CogVideoXWrapper UI yang Nyaman

BEKERJA DALAM PROGRES

Pembaruan7

• Memfaktorkan ulang sampler versi Fun untuk menerima resolusi apa pun, ini akan membuatnya lebih mudah digunakan dengan Tora. BREAKS WORKFLOWS LAMA , node FunSampler lama perlu dibuat ulang.
• Pengubahan ukuran ember lama sekarang ada di nodenya sendiri (CogVideoXFunResizeToClosestBucket) untuk menjaga fungsinya, sejujurnya saya tidak tahu apakah itu penting, tapi untuk berjaga-jaga.
• Vid2vid versi menyenangkan sekarang juga berada di node yang sama, node vid2vid yang lama tidak digunakan lagi.
• Menambahkan dukungan untuk FasterCache, ini menukar lebih banyak penggunaan VRAM untuk kecepatan dengan sedikit kualitas, mirip dengan PAB: https://github.com/Vchitect/FasterCache
• Peningkatan dukungan torch.compile, sekarang benar-benar berfungsi

Pembaruan6

Dukungan awal untuk Tora (https://github.com/alibaba/Tora)

Model yang dikonversi (termasuk dalam node unduh otomatis):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Pembaruan5

Minggu ini ada beberapa pembaruan besar yang kemungkinan besar akan memengaruhi beberapa alur kerja lama, khususnya node sampler mungkin perlu disegarkan (dibuat ulang) jika terjadi kesalahan!

Fitur baru:

• Jendela konteks awal dengan pengocokan kebisingan FreeNoise terutama untuk saluran pipa vid2vid dan pose2vid untuk generasi yang lebih lama, belum menemukan jawabannya untuk img2vid
• Model GGUF dan pengkodean ubin untuk I2V dan pose pipeline (berkat MinusZoneAI)
• dukungan sageattention (khusus Linux) untuk peningkatan kecepatan, saya mengalami peningkatan ~20-30% dengannya, tumpukan dengan mode cepat fp8, tidak perlu kompilasi
• Mendukung CogVideoX-Fun 1.1 dan model posenya dengan kekuatan kontrol tambahan dan pengaturan langkah aplikasi, masukan model ini TIDAK harus berupa kerangka dwpose, apa saja bisa berfungsi
• Mendukung LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_kedalaman_walk_test.mp4

Pembaruan4

Dukungan awal untuk CogVideoX versi I2V resmi: https://huggingface.co/THUDM/CogVideoX-5b-I2V

Juga membutuhkan diffuser 0.30.3

chrome_jvZuPWOzUV.mp4

Pembaruan3

Menambahkan dukungan awal untuk CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Perhatikan bahwa meskipun model ini dapat melakukan image2vid, ini BUKAN model I2V resmi, meskipun model ini juga akan segera dirilis.

chrome_klXjpmvAd4.mp4

Pembaruan2

Menambahkan dukungan eksperimental untuk onediff, ini mengurangi waktu pengambilan sampel sebesar ~40% bagi saya, mencapai 4,23 dtk pada 4090 dengan 49 bingkai. Ini memerlukan penggunaan Linux, torch 2.4.0, instalasi onediff dan nexfort:

pip install --pre onediff onediffx

pip install nexfort

Proses pertama akan memakan waktu sekitar 5 menit untuk kompilasi.

Memperbarui

Model 5b sekarang juga didukung untuk text2vid dasar: https://huggingface.co/THUDM/CogVideoX-5b

Itu juga diunduh otomatis ke ComfyUI/models/CogVideo/CogVideoX-5b , encoder teks tidak diperlukan karena kami menggunakan ComfyUI T5.

chrome_sxMlstknXt.mp4

Membutuhkan diffuser 0.30.1 (ini ditentukan dalam persyaratan.txt)

Menggunakan model T5 yang sama dengan SD3 dan Flux, fp8 juga berfungsi dengan baik. Persyaratan memori sebagian besar bergantung pada durasi video. Penguraian kode VAE tampaknya menjadi satu-satunya hal besar yang membutuhkan banyak VRAM ketika semuanya dibongkar, mencapai puncaknya sekitar 13-14GB untuk sesaat pada tahap itu. Pengambilan sampelnya sendiri mungkin hanya membutuhkan 5-6GB.

Diretas di img2img untuk mencoba alur kerja vid2vid, bekerja secara menarik dengan beberapa masukan, sangat eksperimental.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

Juga menambahkan ubin temporal sebagai sarana menghasilkan video tanpa akhir:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Repo asli: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Jaringan Kontrol: https://github.com/TheDenk/cogvideox-controlnet