ComfyUI CogVideoXWrapper

進行中の作業

アップデート7

• Fun バージョンのサンプラーをリファクタリングして、あらゆる解像度を受け入れるようにしました。これにより、Tora での使用がはるかに簡単になります。古いワークフローが壊れるので、古い FunSampler ノードを作り直す必要があります。
• 古いバケットのサイズ変更は、機能を維持するために独自のノード (CogVideoXFunResizeToClosestBucket) 上で行われるようになりました。正直、それがまったく重要かどうかはわかりませんが、念のため。
• Fun バージョンの vid2vid も同じノード内にあり、古い vid2vid ノードは非推奨になりました。
• FasterCache のサポートが追加されました。これにより、速度と引き換えに VRAM の使用量が増加しますが、PAB と同様に品質がわずかに低下します: https://github.com/Vchitect/FasterCache
• torch.compile サポートが改善され、実際に動作するようになりました

アップデート6

Tora の初期サポート (https://github.com/alibaba/Tora)

変換されたモデル (自動ダウンロード ノードに含まれます):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

クロム_HvGTlk5515.mp4

アップデート5

今週は、いくつかの古いワークフローに影響を与える可能性が高い大きなアップデートがいくつかあり、特にサンプラー ノードがエラーになった場合は更新 (再作成) する必要があると思われます。

新機能:

• FreeNoise ノイズ シャッフルを使用した初期コンテキスト ウィンドウ処理は、主に長期世代の vid2vid およびポーズ 2vid パイプライン用ですが、img2vid についてはまだ理解されていません
• I2V およびポーズ パイプライン用の GGUF モデルとタイル エンコーディング (MinusZoneAI のおかげで)
• 速度向上のための sageattention サポート (Linux のみ)。これにより最大 20 ～ 30% の向上を経験しました。fp8 高速モードでスタックし、コンパイルは必要ありません。
• CogVideoX-Fun 1.1 をサポートし、追加の制御強度とアプリケーション ステップ設定を備えたポーズ モデルです。このモデルの入力は dwpose スケルトンである必要はなく、ほぼ何でも機能します。
• LoRA のサポート

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_ Depth_walk_test.mp4

アップデート4

CogVideoX の公式 I2V バージョンの初期サポート: https://huggingface.co/THUDM/CogVideoX-5b-I2V

ディフューザー 0.30.3 も必要です

chrome_jvZuPWOzUV.mp4

アップデート3

CogVideoX-Fun の初期サポートを追加しました: https://github.com/aigc-apps/CogVideoX-Fun

これは image2vid を実行できますが、これはまだ正式な I2V モデルではないことに注意してください。ただし、これもすぐにリリースされるはずです。

chrome_klXjpmvAd4.mp4

アップデート2

onediff の実験的サポートが追加されました。これにより、サンプリング時間が最大 40% 短縮され、49 フレームの 4090 で 4.23 秒/it に達しました。これには、Linux、tor​​ch 2.4.0、onediff、および nexfort のインストールを使用する必要があります。

pip install --pre onediff onediffx

pip install nexfort

最初の実行ではコンパイルに約 5 分かかります。

アップデート

5b モデルは基本的な text2vid でもサポートされるようになりました: https://huggingface.co/THUDM/CogVideoX-5b

また、 ComfyUI/models/CogVideo/CogVideoX-5bにも自動ダウンロードされます。 ComfyUI T5 を使用するため、テキスト エンコーダーは必要ありません。

chrome_sxMlstknXt.mp4

ディフューザー 0.30.1 が必要です (これは、requirements.txt で指定されています)

SD3 や Flux と同じ T5 モデルを使用しており、fp8 も正常に動作します。メモリ要件は主にビデオの長さに依存します。 VAE デコードは、すべてがオフロードされるときに多くの VRAM を消費する唯一の大きなもののようで、その段階では一時的に約 13 ～ 14GB でピークに達します。サンプリング自体にはおそらく 5 ～ 6 GB しかかかりません。

img2img をハッキングして vid2vid ワークフローを試み、いくつかの入力で興味深い動作をしますが、非常に実験的です。

chrome_hrEYWEaEpK.mp4

クロム_BPxEX1OxXP.mp4

エンドレスビデオを生成する手段として一時的なタイリングも追加されました。

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

元のリポジトリ: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

コントロールネット: https://github.com/TheDenk/cogvideox-controlnet