ComfyUI CogVideoXWrapper

العمل قيد التقدم

تحديث7

• تمت إعادة تصميم نموذج نسخة Fun لقبول أي دقة، وهذا من شأنه أن يجعل استخدامه أسهل بكثير مع Tora. يكسر سير العمل القديم ، ويجب إعادة إنشاء عقد FunSampler القديمة.
• أصبح تغيير حجم المجموعة القديمة الآن على العقدة الخاصة بها (CogVideoXFunResizeToClosestBucket) للحفاظ على الوظيفة، وأنا بصراحة لا أعرف ما إذا كان الأمر مهمًا على الإطلاق، ولكن فقط في حالة.
• الإصدار الممتع vid2vid موجود الآن أيضًا في نفس العقدة، وقد تم إهمال عقدة vid2vid القديمة.
• تمت إضافة دعم لـ FasterCache، وهذا يستبدل المزيد من استخدام VRAM للسرعة مع جودة طفيفة، على غرار PAB: https://github.com/Vchitect/FasterCache
• تحسين دعم torch.compile، وهو يعمل بالفعل الآن

تحديث6

الدعم الأولي لتورا (https://github.com/alibaba/Tora)

النموذج المحول (المضمن في عقدة التنزيل التلقائي):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

تحديث5

كانت هناك بعض التحديثات الأكبر هذا الأسبوع والتي من المرجح أن تؤثر على بعض مسارات العمل القديمة، وربما تحتاج عقدة أخذ العينات بشكل خاص إلى التحديث (إعادة الإنشاء) إذا حدث خطأ!

الميزات الجديدة:

• نافذة السياق الأولية مع خلط ضوضاء FreeNoise بشكل أساسي لخطوط أنابيب vid2vid وpose2vid للأجيال الأطول، لم يتم اكتشافها لـ img2vid حتى الآن
• نماذج GGUF والتشفير المتجانب لـ I2V وخطوط الأنابيب (بفضل MinusZoneAI)
• دعم sageattention (Linux فقط) لزيادة السرعة، وقد شهدت زيادة بنسبة 20-30% تقريبًا معه، والأكوام مع الوضع السريع fp8، ولا تحتاج إلى تجميع
• دعم CogVideoX-Fun 1.1 ونماذج الوضع الخاصة به مع قوة تحكم إضافية وإعدادات خطوة التطبيق، لا يجب أن يكون إدخال هذا النموذج مجرد هياكل عظمية مزدوجة الوضع، يمكن أن يعمل أي شيء تقريبًا
• دعم LoRAs

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_ Deep_walk_test.mp4

تحديث4

الدعم الأولي لإصدار I2V الرسمي من CogVideoX: https://huggingface.co/THUDM/CogVideoX-5b-I2V

يحتاج أيضًا إلى ناشرين 0.30.3

chrome_jvZuPWOzUV.mp4

تحديث3

تمت إضافة الدعم الأولي لـ CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

لاحظ أنه على الرغم من أن هذا النموذج يمكنه عمل image2vid، إلا أن هذا ليس نموذج I2V الرسمي حتى الآن، على الرغم من أنه سيتم إصداره قريبًا جدًا.

chrome_klXjpmvAd4.mp4

تحديث2

تمت إضافة دعم تجريبي لـ onediff، مما أدى إلى تقليل وقت أخذ العينات بنسبة 40% تقريبًا بالنسبة لي، ليصل إلى 4.23 ثانية/ثانية على 4090 مع 49 إطارًا. يتطلب ذلك تثبيت Linux وtorch 2.4.0 وonediff وnexfort:

pip install --pre onediff onediffx

pip install nexfort

سيستغرق التشغيل الأول حوالي 5 دقائق للتجميع.

تحديث

النموذج 5b مدعوم الآن أيضًا للنص الأساسي text2vid: https://huggingface.co/THUDM/CogVideoX-5b

يتم أيضًا تنزيله تلقائيًا إلى ComfyUI/models/CogVideo/CogVideoX-5b ، ولا حاجة إلى برنامج تشفير النص لأننا نستخدم ComfyUI T5.

chrome_sxMlstknXt.mp4

يتطلب الناشرون 0.30.1 (هذا محدد في ملف require.txt)

يستخدم نفس طراز T5 من SD3 وFlux، ويعمل fp8 بشكل جيد أيضًا. تعتمد متطلبات الذاكرة في الغالب على طول الفيديو. يبدو أن فك تشفير VAE هو الشيء الكبير الوحيد الذي يستهلك قدرًا كبيرًا من VRAM عندما يتم تفريغ كل شيء، ويبلغ ذروته عند حوالي 13-14 جيجابايت مؤقتًا في تلك المرحلة. قد يستغرق أخذ العينات نفسه 5-6 جيجابايت فقط.

تم اختراقه في img2img لمحاولة سير عمل vid2vid، ويعمل بشكل مثير للاهتمام مع بعض المدخلات، وهو تجريبي للغاية.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

تمت إضافة التبليط الزمني أيضًا كوسيلة لإنشاء مقاطع فيديو لا نهاية لها:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

الريبو الأصلي: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

شبكة التحكم: https://github.com/TheDenk/cogvideox-controlnet