ComfyUI CogVideoXWrapper

正在进行中的工作

更新7

• 重构了 Fun 版本的采样器以接受任何分辨率，这应该会使 Tora 的使用变得更加简单。打破旧的工作流程，旧的 FunSampler 节点需要重新制作。
• 旧的存储桶大小调整现在位于它自己的节点（CogVideoXFunResizeToClosestBucket）上以保留功能，老实说我不知道​​这是否重要，但以防万一。
• Fun 版本的 vid2vid 现在也在同一节点中，旧的 vid2vid 节点已弃用。
• 添加了对 FasterCache 的支持，这会使用更多 VRAM 来换取速度，但质量会受到轻微影响，类似于 PAB：https://github.com/Vchitect/FasterCache
• 改进了 torch.compile 支持，现在它实际上可以工作了

更新6

对 Tora 的初步支持 (https://github.com/alibaba/Tora)

转换后的模型（包含在自动下载节点中）：

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

更新5

本周出现了一些较大的更新，很可能会影响一些旧的工作流程，尤其是采样器节点如果出现错误，可能需要刷新（重新创建）！

新功能：

• 使用 FreeNoise 噪声混洗的初始上下文窗口主要用于较长代的 vid2vid 和pose2vid 管道，尚未弄清楚 img2vid
• 用于 I2V 和姿势管道的 GGUF 模型和平铺编码（感谢 MinusZoneAI）
• sageattention 支持（仅限 Linux）以提高速度，我体验到了约 20-30% 的速度提升，与 fp8 快速模式堆栈，不需要编译
• 支持 CogVideoX-Fun 1.1 及其姿势模型，具有额外的控制强度和应用步骤设置，该模型的输入不必只是 dwpose 骨架，几乎任何东西都可以工作
• 支持LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_depth_walk_test.mp4

更新4

初步支持 CogVideoX 官方 I2V 版本：https://huggingface.co/THUDM/CogVideoX-5b-I2V

还需要扩散器 0.30.3

chrome_jvZuPWOzUV.mp4

更新3

添加了对 CogVideoX-Fun 的初始支持：https://github.com/aigc-apps/CogVideoX-Fun

请注意，虽然这个模型可以执行 image2vid，但这还不是官方的 I2V 模型，尽管它也应该很快发布。

chrome_klXjpmvAd4.mp4

更新2

添加了对 onediff 的实验支持，这对我来说采样时间减少了约 40%，在 4090 和 49 帧上达到 4.23 s/it。这需要使用Linux、tor​​ch 2.4.0、onediff和nexfort安装：

pip install --pre onediff onediffx

pip install nexfort

第一次运行编译大约需要 5 分钟。

更新

5b 模型现在也支持基本 text2vid：https://huggingface.co/THUDM/CogVideoX-5b

它还会自动下载到ComfyUI/models/CogVideo/CogVideoX-5b ，因为我们使用 ComfyUI T5，所以不需要文本编码器。

chrome_sxMlstknXt.mp4

需要扩散器 0.30.1（这在requirements.txt中指定）

使用与 SD3 和 Flux 相同的 T5 模型，fp8 也可以正常工作。内存要求主要取决于视频长度。当所有内容都被卸载时，VAE 解码似乎是唯一需要大量 VRAM 的功能，在该阶段峰值约为 13-14GB。采样本身可能只需要 5-6GB。

在 img2img 中进行黑客攻击以尝试 vid2vid 工作流程，与一些输入一起有趣地工作，高度实验性。

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

还添加了时间平铺作为生成无尽视频的方法：

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

原始仓库：https://github.com/THUDM/CogVideo

CogVideoX-Fun：https://github.com/aigc-apps/CogVideoX-Fun

控制网：https://github.com/TheDenk/cogvideox-controlnet