ComfyUI CogVideoXWrapper

TRABALHO EM ANDAMENTO

Atualização7

• Refatorado o sampler da versão Fun para aceitar qualquer resolução, isso deve torná-lo muito mais simples de usar com o Tora. QUEBRA FLUXOS DE TRABALHO ANTIGOS , nós antigos do FunSampler precisam ser refeitos.
• O antigo redimensionamento do bucket agora está em seu próprio nó (CogVideoXFunResizeToClosestBucket) para manter a funcionalidade. Sinceramente, não sei se isso importa, mas apenas por precaução.
• O vid2vid da versão divertida agora também está no mesmo nó, o antigo nó vid2vid está obsoleto.
• Adicionado suporte para FasterCache, que troca mais uso de VRAM por velocidade com leve impacto na qualidade, semelhante ao PAB: https://github.com/Vchitect/FasterCache
• Suporte aprimorado para torch.compile, realmente funciona agora

Atualização6

Suporte inicial para Tora (https://github.com/alibaba/Tora)

Modelo convertido (incluído no nó de download automático):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Atualização5

Esta semana houve algumas atualizações maiores que provavelmente afetarão alguns fluxos de trabalho antigos, especialmente o nó do amostrador que provavelmente precisará ser atualizado (recriado) se ocorrer um erro!

Novos recursos:

• Janela de contexto inicial com embaralhamento de ruído FreeNoise principalmente para pipelines vid2vid e pose2vid para gerações mais longas, ainda não descobri isso para img2vid
• Modelos GGUF e codificação lado a lado para pipelines I2V e pose (graças ao MinusZoneAI)
• suporte sageattention (apenas Linux) para um aumento de velocidade, experimentei um aumento de aproximadamente 20-30% com ele, empilha com modo rápido fp8, não precisa de compilação
• Suporta CogVideoX-Fun 1.1 e seus modelos de pose com força de controle adicional e configurações de etapas de aplicação, a entrada deste modelo NÃO precisa ser apenas esqueletos dwpose, praticamente qualquer coisa pode funcionar
• Apoie LoRAs

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_profundidade_walk_test.mp4

Atualização4

Suporte inicial para a versão oficial I2V do CogVideoX: https://huggingface.co/THUDM/CogVideoX-5b-I2V

Também precisa de difusores 0.30.3

chrome_jvZuPWOzUV.mp4

Atualização3

Adicionado suporte inicial para CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Observe que embora este possa fazer image2vid, este ainda NÃO é o modelo I2V oficial, embora também deva ser lançado em breve.

chrome_klXjpmvAd4.mp4

Atualização2

Adicionado suporte experimental para onediff, reduzindo o tempo de amostragem em ~ 40% para mim, atingindo 4,23 s/it no 4090 com 49 quadros. Isso requer o uso de Linux, torch 2.4.0, instalação onediff e nexfort:

pip install --pre onediff onediffx

pip install nexfort

A primeira execução levará cerca de 5 minutos para a compilação.

Atualizar

O modelo 5b agora também é compatível com text2vid básico: https://huggingface.co/THUDM/CogVideoX-5b

Ele também é baixado automaticamente para ComfyUI/models/CogVideo/CogVideoX-5b , o codificador de texto não é necessário, pois usamos o ComfyUI T5.

chrome_sxMlstknXt.mp4

Requer difusores 0.30.1 (isso é especificado em requisitos.txt)

Usa o mesmo modelo T5 que SD3 e Flux, fp8 também funciona bem. Os requisitos de memória dependem principalmente da duração do vídeo. A decodificação VAE parece ser a única grande que consome muito VRAM quando tudo é descarregado, atingindo picos em torno de 13-14 GB momentaneamente nesse estágio. A amostragem em si leva apenas de 5 a 6 GB.

Hackeado no img2img para tentar o fluxo de trabalho vid2vid, funciona de forma interessante com algumas entradas, altamente experimental.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

Também foram adicionados blocos temporais como forma de gerar vídeos infinitos:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Repositório original: https://github.com/THUDM/CogVideo

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Controlnet: https://github.com/TheDenk/cogvideox-controlnet