ComfyUI CogVideoXWrapper

TRABAJO EN CURSO

Actualización7

• Se refactorizó el sampler de la versión Fun para que acepte cualquier resolución, esto debería hacer que sea mucho más sencillo de usar con Tora. ROMPE FLUJOS DE TRABAJO ANTIGUOS , es necesario rehacer los nodos antiguos de FunSampler.
• El antiguo cambio de tamaño del depósito ahora está en su propio nodo (CogVideoXFunResizeToClosestBucket) para mantener la funcionalidad, honestamente, no sé si importa en absoluto, pero por si acaso.
• La versión divertida de vid2vid ahora también está en el mismo nodo; el antiguo nodo vid2vid está en desuso.
• Se agregó soporte para FasterCache, esto intercambia más uso de VRAM por velocidad con un ligero impacto en la calidad, similar a PAB: https://github.com/Vchitect/FasterCache
• Soporte mejorado de torch.compile, ahora realmente funciona

Actualización6

Soporte inicial para Tora (https://github.com/alibaba/Tora)

Modelo convertido (incluido en el nodo de descarga automática):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Actualización5

Esta semana ha habido algunas actualizaciones más importantes que probablemente afectarán algunos flujos de trabajo antiguos, especialmente el nodo de muestra que probablemente deba actualizarse (recrearse) si se produce un error.

Nuevas características:

• Ventanas de contexto inicial con mezcla de ruido FreeNoise principalmente para canalizaciones vid2vid y pose2vid durante generaciones más largas, todavía no lo he descubierto para img2vid
• Modelos GGUF y codificación en mosaico para I2V y tuberías de pose (gracias a MinusZoneAI)
• Soporte de sageattention (solo Linux) para aumentar la velocidad, experimenté un aumento de ~20-30% con él, se acumula con el modo rápido fp8, no necesita compilación
• Admite CogVideoX-Fun 1.1 y sus modelos de pose con fuerza de control adicional y configuraciones de pasos de aplicación. La entrada de este modelo NO tiene que ser solo esqueletos desechados, casi cualquier cosa puede funcionar.
• Soporte LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_profundidad_walk_test.mp4

Actualización4

Soporte inicial para la versión oficial I2V de CogVideoX: https://huggingface.co/THUDM/CogVideoX-5b-I2V

También necesita difusores 0.30.3

chrome_jvZuPWOzUV.mp4

Actualización3

Se agregó soporte inicial para CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Tenga en cuenta que si bien este puede hacer image2vid, este NO es el modelo oficial I2V todavía, aunque también debería lanzarse muy pronto.

chrome_klXjpmvAd4.mp4

Actualización2

Se agregó soporte experimental para onediff, lo que redujo el tiempo de muestreo en aproximadamente un 40 % para mí, alcanzando 4,23 s/it en 4090 con 49 fotogramas. Esto requiere el uso de Linux, torch 2.4.0, onediff y la instalación de nexfort:

pip install --pre onediff onediffx

pip install nexfort

La primera ejecución tardará unos 5 minutos en compilar.

Actualizar

El modelo 5b ahora también es compatible con text2vid básico: https://huggingface.co/THUDM/CogVideoX-5b

También se descarga automáticamente en ComfyUI/models/CogVideo/CogVideoX-5b , no se necesita codificador de texto ya que usamos ComfyUI T5.

chrome_sxMlstknXt.mp4

Requiere difusores 0.30.1 (esto se especifica en requisitos.txt)

Utiliza el mismo modelo T5 que SD3 y Flux, fp8 también funciona bien. Los requisitos de memoria dependen principalmente de la duración del vídeo. La decodificación VAE parece ser la única gran que requiere mucha VRAM cuando todo está descargado, alcanza un máximo momentáneo de alrededor de 13-14 GB en esa etapa. El muestreo en sí requiere sólo entre 5 y 6 GB.

Hackeado en img2img para intentar el flujo de trabajo vid2vid, funciona de manera interesante con algunas entradas, altamente experimental.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

También se agregó mosaico temporal como medio para generar videos interminables:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Repositorio original: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Controlnet: https://github.com/TheDenk/cogvideox-controlnet