ComfyUI CogVideoXWrapper

IN ARBEIT

Update7

• Der Sampler der Fun-Version wurde überarbeitet, um jede Auflösung zu akzeptieren. Dies sollte die Verwendung mit Tora erheblich vereinfachen. Bricht alte Arbeitsabläufe , alte FunSampler-Knoten müssen neu erstellt werden.
• Die alte Bucket-Größenänderung befindet sich jetzt auf einem eigenen Knoten (CogVideoXFunResizeToClosestBucket), um die Funktionalität beizubehalten. Ich weiß ehrlich gesagt nicht, ob das überhaupt wichtig ist, aber nur für den Fall.
• vid2vid der Fun-Version befindet sich jetzt auch im selben Knoten, der alte vid2vid-Knoten ist veraltet.
• Unterstützung für FasterCache hinzugefügt, wodurch mehr VRAM-Nutzung gegen Geschwindigkeit mit leichten Qualitätsverlusten eingetauscht wird, ähnlich wie bei PAB: https://github.com/Vchitect/FasterCache
• Verbesserte Unterstützung für Torch.compile, es funktioniert jetzt tatsächlich

Update6

Erste Unterstützung für Tora (https://github.com/alibaba/Tora)

Konvertiertes Modell (im Autodownload-Knoten enthalten):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Update5

Diese Woche gab es einige größere Updates, die sich höchstwahrscheinlich auf einige alte Arbeitsabläufe auswirken werden. Insbesondere der Sampler-Knoten muss wahrscheinlich aktualisiert (neu erstellt) werden, wenn ein Fehler auftritt!

Neue Funktionen:

• Anfängliche Kontextfensterung mit FreeNoise-Rauschenmischung, hauptsächlich für vid2vid- undpose2vid-Pipelines für längere Generationen, habe es für img2vid noch nicht herausgefunden
• GGUF-Modelle und gekachelte Kodierung für I2V- und Pose-Pipelines (dank MinusZoneAI)
• sageattention-Unterstützung (nur Linux) für eine Geschwindigkeitssteigerung, ich habe damit eine Steigerung von ca. 20–30 % erlebt, stapelbar mit fp8-Schnellmodus, muss nicht kompiliert werden
• Unterstützt CogVideoX-Fun 1.1 und seine Posenmodelle mit zusätzlichen Kontrollstärken und Anwendungsschritteinstellungen. Die Eingabe dieses Modells muss NICHT nur aus Dwpose-Skeletten bestehen, es kann fast alles funktionieren
• Unterstützen Sie LoRAs

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_ Depth_walk_test.mp4

Update4

Erste Unterstützung für die offizielle I2V-Version von CogVideoX: https://huggingface.co/THUDM/CogVideoX-5b-I2V

Benötigt außerdem Diffusoren 0,30,3

chrome_jvZuPWOzUV.mp4

Update3

Erste Unterstützung für CogVideoX-Fun hinzugefügt: https://github.com/aigc-apps/CogVideoX-Fun

Beachten Sie, dass dieses zwar image2vid unterstützt, dies jedoch noch NICHT das offizielle I2V-Modell ist, obwohl es ebenfalls sehr bald veröffentlicht werden dürfte.

chrome_klXjpmvAd4.mp4

Update2

Durch die zusätzliche experimentelle Unterstützung für onediff reduzierte sich die Sampling-Zeit für mich um etwa 40 % und erreichte 4,23 s/it auf 4090 mit 49 Bildern. Dies erfordert die Installation von Linux, Torch 2.4.0, Onediff und Nextort:

pip install --pre onediff onediffx

pip install nexfort

Beim ersten Durchlauf dauert die Kompilierung etwa 5 Minuten.

Aktualisieren

Das 5b-Modell wird jetzt auch für einfaches text2vid unterstützt: https://huggingface.co/THUDM/CogVideoX-5b

Es wird auch automatisch auf ComfyUI/models/CogVideo/CogVideoX-5b heruntergeladen. Ein Textencoder ist nicht erforderlich, da wir ComfyUI T5 verwenden.

chrome_sxMlstknXt.mp4

Erfordert Diffusoren 0.30.1 (dies ist in der Datei „requirements.txt“ angegeben)

Verwendet dasselbe T5-Modell wie SD3 und Flux, fp8 funktioniert auch einwandfrei. Der Speicherbedarf hängt hauptsächlich von der Videolänge ab. Die VAE-Dekodierung scheint die einzige große Sache zu sein, die viel VRAM beansprucht, wenn alles ausgelagert wird, und erreicht in diesem Stadium momentan einen Spitzenwert von etwa 13–14 GB. Das Sampling selbst benötigt vielleicht nur 5-6 GB.

In img2img gehackt, um den vid2vid-Workflow auszuprobieren, funktioniert interessanterweise mit einigen Eingaben, sehr experimentell.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

Außerdem wurde zeitliche Kachelung hinzugefügt, um endlose Videos zu generieren:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Original-Repo: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Kontrollnetz: https://github.com/TheDenk/cogvideox-controlnet