ComfyUI CogVideoXWrapper

正在進行中的工作

更新7

• 重構了 Fun 版本的採樣器以接受任何分辨率，這應該會使 Tora 的使用變得更加簡單。打破舊的工作流程，舊的 FunSampler 節點需要重新製作。
• 舊的儲存桶大小調整現在位於它自己的節點（CogVideoXFunResizeToClosestBucket）上以保留功能，老實說我不知道這是否重要，但以防萬一。
• Fun 版本的 vid2vid 現在也在同一節點中，舊的 vid2vid 節點已棄用。
• 增加了對 FasterCache 的支持，這會使用更多 VRAM 來換取速度，但品質會受到輕微影響，類似於 PAB：https://github.com/Vchitect/FasterCache
• 改進了 torch.compile 支持，現在它實際上可以工作了

更新6

對 Tora 的初步支持 (https://github.com/alibaba/Tora)

轉換後的模型（包含在自動下載節點中）：

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

更新5

本週出現了一些較大的更新，很可能會影響一些舊的工作流程，尤其是採樣器節點如果出現錯誤，可能需要刷新（重新建立）！

新功能：

• 使用 FreeNoise 噪音混洗的初始上下文視窗主要用於較長代的 vid2vid 和pose2vid 管道，尚未弄清楚 img2vid
• 用於 I2V 和姿勢管道的 GGUF 模型和平鋪編碼（感謝 MinusZoneAI）
• sageattention 支援（僅限 Linux）以提高速度，我體驗到了約 20-30% 的速度提升，與 fp8 快速模式堆棧，不需要編譯
• 支援 CogVideoX-Fun 1.1 及其姿勢模型，具有額外的控制強度和應用步驟設置，模型的輸入不必只是 dwpose 骨架，幾乎任何東西都可以工作
• 支持LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_depth_walk_test.mp4

更新4

初步支援 CogVideoX 官方 I2V 版本：https://huggingface.co/THUDM/CogVideoX-5b-I2V

還需要擴散器 0.30.3

chrome_jvZuPWOzUV.mp4

更新3

新增了對 CogVideoX-Fun 的初始支援：https://github.com/aigc-apps/CogVideoX-Fun

請注意，雖然這個模型可以執行 image2vid，但這還不是官方的 I2V 模型，儘管它也應該很快就會發布。

chrome_klXjpmvAd4.mp4

更新2

增加了對 onediff 的實驗支持，這對我來說採樣時間減少了約 40%，在 4090 和 49 幀上達到 4.23 s/it。這需要使用Linux、tor​​ch 2.4.0、onediff和nexfort安裝：

pip install --pre onediff onediffx

pip install nexfort

第一次執行編譯大約需要 5 分鐘。

更新

5b 型號現在也支援基本 text2vid：https://huggingface.co/THUDM/CogVideoX-5b

它也會自動下載到ComfyUI/models/CogVideo/CogVideoX-5b ，因為我們使用 ComfyUI T5，所以不需要文字編碼器。

chrome_sxMlstknXt.mp4

需要擴散器 0.30.1（這在requirements.txt中指定）

使用與 SD3 和 Flux 相同的 T5 模型，fp8 也可以正常運作。記憶體需求主要取決於視頻長度。當所有內容都被卸載時，VAE 解碼似乎是唯一需要大量 VRAM 的功能，在該階段峰值約為 13-14GB。採樣本身可能只需要 5-6GB。

在 img2img 中進行黑客攻擊以嘗試 vid2vid 工作流程，與一些輸入一起有趣地工作，高度實驗性。

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

還添加了時間平舖作為生成無盡視頻的方法：

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

原始倉庫：https://github.com/THUDM/CogVideo

CogVideoX-Fun：https://github.com/aigc-apps/CogVideoX-Fun

控制網：https://github.com/TheDenk/cogvideox-controlnet