ComfyUI CogVideoXWrapper

TRAVAIL EN COURS

Mise à jour7

• Refactorisation de l'échantillonneur de la version Fun pour accepter n'importe quelle résolution, cela devrait rendre son utilisation beaucoup plus simple avec Tora. RUPTURE LES ANCIENS FLUX DE TRAVAIL , les anciens nœuds FunSampler doivent être refaits.
• L'ancien redimensionnement du bucket se trouve désormais sur son propre nœud (CogVideoXFunResizeToClosestBucket) pour conserver la fonctionnalité. Honnêtement, je ne sais pas si cela est important du tout, mais juste au cas où.
• Le vid2vid de la version Fun est désormais également dans le même nœud, l'ancien nœud vid2vid est obsolète.
• Ajout de la prise en charge de FasterCache, qui échange davantage d'utilisation de VRAM contre de la vitesse avec un léger impact sur la qualité, similaire à PAB : https://github.com/Vchitect/FasterCache
• Prise en charge améliorée de torch.compile, cela fonctionne réellement maintenant

Mise à jour6

Prise en charge initiale de Tora (https://github.com/alibaba/Tora)

Modèle converti (inclus dans le nœud de téléchargement automatique) :

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Mise à jour5

Cette semaine, il y a eu des mises à jour plus importantes qui affecteront très probablement certains anciens flux de travail, le nœud d'échantillonnage en particulier devra probablement être actualisé (recréé) en cas d'erreur !

Nouvelles fonctionnalités :

• Fenêtrage de contexte initial avec brassage de bruit FreeNoise principalement pour les pipelines vid2vid et pose2vid pour les générations plus longues, je ne l'ai pas encore compris pour img2vid
• Modèles GGUF et encodage en mosaïque pour les pipelines I2V et de pose (grâce à MinusZoneAI)
• prise en charge de sageattention (Linux uniquement) pour une augmentation de vitesse, j'ai connu une augmentation d'environ 20 à 30 %, se cumule avec le mode rapide fp8, n'a pas besoin d'être compilé
• Prend en charge CogVideoX-Fun 1.1 et ses modèles de pose avec une force de contrôle supplémentaire et des paramètres d'étape d'application, l'entrée de ce modèle ne doit PAS nécessairement être simplement des squelettes dwpose, à peu près tout peut fonctionner
• Soutenir les LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_profondeur_walk_test.mp4

Mise à jour4

Prise en charge initiale de la version officielle I2V de CogVideoX : https://huggingface.co/THUDM/CogVideoX-5b-I2V

Nécessite également des diffuseurs 0.30.3

chrome_jvZuPWOzUV.mp4

Mise à jour3

Ajout du support initial pour CogVideoX-Fun : https://github.com/aigc-apps/CogVideoX-Fun

Notez que même si celui-ci peut faire image2vid, ce n'est PAS encore le modèle officiel I2V, bien qu'il devrait également être publié très prochainement.

chrome_klXjpmvAd4.mp4

Mise à jour2

Ajout du support expérimental pour onediff, ce qui a réduit le temps d'échantillonnage d'environ 40 % pour moi, atteignant 4,23 s/it sur 4090 avec 49 images. Cela nécessite l'utilisation de Linux, torch 2.4.0, onediff et l'installation de nexfort :

pip install --pre onediff onediffx

pip install nexfort

La première exécution prendra environ 5 minutes pour la compilation.

Mise à jour

Le modèle 5b est désormais également pris en charge pour text2vid de base : https://huggingface.co/THUDM/CogVideoX-5b

Il est également téléchargé automatiquement sur ComfyUI/models/CogVideo/CogVideoX-5b , l'encodeur de texte n'est pas nécessaire car nous utilisons le ComfyUI T5.

chrome_sxMlstknXt.mp4

Nécessite les diffuseurs 0.30.1 (ceci est spécifié dans exigences.txt)

Utilise le même modèle T5 que SD3 et Flux, fp8 fonctionne également très bien. Les besoins en mémoire dépendent principalement de la durée de la vidéo. Le décodage VAE semble être le seul grand qui consomme beaucoup de VRAM lorsque tout est déchargé, culminant momentanément à environ 13-14 Go à ce stade. L'échantillonnage lui-même ne prend que peut-être 5 à 6 Go.

Piraté dans img2img pour tenter le workflow vid2vid, fonctionne de manière intéressante avec certaines entrées, hautement expérimentales.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

Ajout également d'une mosaïque temporelle comme moyen de générer des vidéos sans fin :

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Dépôt original : https://github.com/THUDM/CogVideo

CogVideoX-Fun : https://github.com/aigc-apps/CogVideoX-Fun

Controlnet : https://github.com/TheDenk/cogvideox-controlnet