ComfyUI CogVideoXWrapper

อยู่ระหว่างดำเนินการ

อัพเดต7

• ปรับโครงสร้างแซมเพลอร์ของเวอร์ชัน Fun ใหม่เพื่อให้ยอมรับการแก้ไขใดๆ ซึ่งน่าจะทำให้ใช้งานกับ Tora ได้ง่ายขึ้นมาก ทำลายเวิร์กโฟลว์เก่า โหนด FunSampler เก่าจำเป็นต้องถูกสร้างใหม่
• ขณะนี้การปรับขนาดที่เก็บข้อมูลเก่าอยู่บนโหนดของตัวเอง (CogVideoXFunResizeToClosestBucket) เพื่อให้ฟังก์ชันการทำงานฉันไม่รู้จริงๆ ว่ามันสำคัญหรือไม่ แต่ในกรณีนี้
• ตอนนี้ vid2vid ของเวอร์ชัน Fun ก็อยู่ในโหนดเดียวกันแล้ว โหนด vid2vid เก่าเลิกใช้แล้ว
• เพิ่มการรองรับ FasterCache ซึ่งแลกเปลี่ยนการใช้ VRAM มากขึ้นเพื่อความเร็วโดยมีคุณภาพการเข้าชมเล็กน้อย คล้ายกับ PAB: https://github.com/Vchitect/FasterCache
• ปรับปรุงการรองรับ torch.compile ซึ่งใช้งานได้จริงแล้ว

อัปเดต6

การสนับสนุนเบื้องต้นสำหรับ Tora (https://github.com/alibaba/Tora)

โมเดลที่แปลงแล้ว (รวมอยู่ในโหนดดาวน์โหลดอัตโนมัติ):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

อัปเดต5

สัปดาห์นี้มีการอัปเดตที่ใหญ่กว่าซึ่งน่าจะส่งผลต่อเวิร์กโฟลว์เก่าบางรายการ โดยเฉพาะอย่างยิ่งโหนดตัวอย่างอาจจำเป็นต้องรีเฟรช (สร้างใหม่) หากเกิดข้อผิดพลาด!

คุณสมบัติใหม่:

• หน้าต่างบริบทเริ่มต้นที่มีการสับสัญญาณรบกวน FreeNoise ส่วนใหญ่สำหรับไปป์ไลน์ vid2vid และpose2vid สำหรับคนรุ่นที่ยาวขึ้น ยังไม่ได้คิดออกสำหรับ img2vid
• โมเดล GGUF และการเข้ารหัสแบบเรียงต่อกันสำหรับ I2V และไปป์ไลน์ (ขอบคุณ MinusZoneAI)
• การสนับสนุน sageattention (Linux เท่านั้น) เพื่อเพิ่มความเร็ว ฉันพบว่ามันเพิ่มขึ้นประมาณ 20-30% ซ้อนกับโหมดเร็ว fp8 ไม่จำเป็นต้องคอมไพล์
• รองรับ CogVideoX-Fun 1.1 และเป็นโมเดลโพสท่าที่มีความแข็งแกร่งในการควบคุมเพิ่มเติมและการตั้งค่าขั้นตอนของแอปพลิเคชัน อินพุตของโมเดลนี้ไม่จำเป็นต้องเป็นเพียงโครงกระดูก dwpose ทุกอย่างสามารถทำงานได้
• รองรับ LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_deep_walk_test.mp4

อัปเดต4

การสนับสนุนเบื้องต้นสำหรับ CogVideoX เวอร์ชัน I2V อย่างเป็นทางการ: https://huggingface.co/THUDM/CogVideoX-5b-I2V

ต้องการตัวกระจายสัญญาณ 0.30.3 ด้วย

chrome_jvZuPWOzUV.mp4

อัปเดต3

เพิ่มการสนับสนุนเบื้องต้นสำหรับ CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

โปรดทราบว่าแม้ว่ารุ่นนี้จะสามารถทำ image2vid ได้ แต่นี่ไม่ใช่รุ่น I2V อย่างเป็นทางการ แม้ว่าจะควรจะออกในเร็วๆ นี้ก็ตาม

chrome_klXjpmvAd4.mp4

อัปเดต2

เพิ่มการสนับสนุน การทดลอง สำหรับ onediff ซึ่งลดเวลาการสุ่มตัวอย่างลง ~40% สำหรับฉัน โดยอยู่ที่ 4.23 วินาที/ครั้งบน 4090 ด้วย 49 เฟรม สิ่งนี้ต้องใช้การติดตั้ง Linux, torch 2.4.0, onediff และ nextfort:

pip install --pre onediff onediffx

pip install nexfort

การรันครั้งแรกจะใช้เวลาประมาณ 5 นาทีในการรวบรวม

อัปเดต

ขณะนี้โมเดล 5b ได้รับการสนับสนุนสำหรับ text2vid พื้นฐานแล้ว: https://huggingface.co/THUDM/CogVideoX-5b

นอกจากนี้ยังดาวน์โหลดอัตโนมัติไปยัง ComfyUI/models/CogVideo/CogVideoX-5b ไม่จำเป็นต้องใช้ตัวเข้ารหัสข้อความเนื่องจากเราใช้ ComfyUI T5

chrome_sxMlstknXt.mp4

ต้องใช้ตัวกระจาย 0.30.1 (ระบุไว้ใน Requirements.txt)

ใช้รุ่น T5 เดียวกันกับ SD3 และ Flux fp8 ก็ทำงานได้ดีเช่นกัน ข้อกำหนดหน่วยความจำขึ้นอยู่กับความยาวของวิดีโอเป็นส่วนใหญ่ ดูเหมือนว่าการถอดรหัส VAE จะเป็นสิ่งเดียวที่ใหญ่ซึ่งใช้ VRAM จำนวนมากเมื่อทุกอย่างถูกออฟโหลด โดยจะสูงสุดที่ประมาณ 13-14GB ชั่วขณะหนึ่งในช่วงนั้น การสุ่มตัวอย่างจะใช้เวลาเพียง 5-6GB เท่านั้น

ถูกแฮ็กใน img2img เพื่อลองใช้เวิร์กโฟลว์ vid2vid ทำงานได้อย่างน่าสนใจกับอินพุตบางส่วน เป็นการทดลองระดับสูง

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

เพิ่มการปูกระเบื้องชั่วคราวเพื่อสร้างวิดีโอที่ไม่มีที่สิ้นสุด:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

แหล่งซื้อคืนดั้งเดิม: https://github.com/THUDM/CogVideo

CogVideoX-สนุก: https://github.com/aigc-apps/CogVideoX-Fun

คอนโทรลเน็ต: https://github.com/TheDenk/cogvideox-controlnet