ComfyUI CogVideoXWrapper

РАБОТА В ПРОГРЕССЕ

Обновление7

• Переработан сэмплер версии Fun, чтобы он мог принимать любое разрешение, это должно значительно упростить его использование с Tora. НАРУШАЕТ СТАРЫЕ РАБОЧИЕ ПРОЦЕССЫ , старые узлы FunSampler необходимо переделывать.
• Изменение размера старой корзины теперь находится на отдельном узле (CogVideoXFunResizeToClosestBucket), чтобы сохранить функциональность. Честно говоря, я не знаю, имеет ли это вообще значение, но на всякий случай.
• vid2vid из Fun-версии теперь также находится в том же узле, старый узел vid2vid устарел.
• Добавлена ​​поддержка FasterCache, это увеличивает использование VRAM в пользу скорости с небольшим снижением качества, аналогично PAB: https://github.com/Vchitect/FasterCache
• Улучшена поддержка torch.compile, теперь она действительно работает.

Обновление6

Начальная поддержка Tora (https://github.com/alibaba/Tora)

Конвертированная модель (включена в узел автозагрузки):

https://huggingface.co/Kijai/CogVideoX-5b-Tora/tree/main

chrome_HvGTlk5515.mp4

Обновление5

На этой неделе было несколько более крупных обновлений, которые, скорее всего, повлияют на некоторые старые рабочие процессы, особенно узел сэмплера, вероятно, потребуется обновить (пересоздать), если произойдет ошибка!

Новые возможности:

• Начальное контекстное оконное управление с перетасовкой шума FreeNoise, в основном для конвейеров vid2vid иpose2vid для более длинных поколений, для img2vid еще не разобрался
• Модели GGUF и тайловое кодирование для I2V и конвейеров поз (спасибо MinusZoneAI)
• поддержка sageattention (только для Linux) для повышения скорости, я испытал прирост примерно на 20-30%, складывается с быстрым режимом fp8, не требует компиляции
• Поддержка CogVideoX-Fun 1.1 и его моделей поз с дополнительной силой управления и настройками шагов приложения. Входные данные этой модели НЕ обязательно должны быть просто скелетами dwpose, работать может практически все.
• Поддержка LoRA

CogVideoX_Fun_Pose_00133.mp4

cogvideox_pose_test.mp4

cogvideox_pose_length_walk_test.mp4

Обновление4

Первоначальная поддержка официальной версии CogVideoX I2V: https://huggingface.co/THUDM/CogVideoX-5b-I2V

Также нужны диффузоры 0.30.3

chrome_jvZuPWOzUV.mp4

Обновление3

Добавлена ​​первоначальная поддержка CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun.

Обратите внимание: хотя эта модель поддерживает image2vid, это еще НЕ официальная модель I2V, хотя она также должна быть выпущена очень скоро.

chrome_klXjpmvAd4.mp4

Обновление2

Добавлена ​​экспериментальная поддержка onediff, это позволило мне сократить время выборки примерно на 40 %, достигнув 4,23 с/ит на 4090 с 49 кадрами. Для этого необходимо использовать Linux, torch 2.4.0, onediff и установку nexfort:

pip install --pre onediff onediffx

pip install nexfort

Компиляция первого запуска займет около 5 минут.

Обновлять

Модель 5b теперь также поддерживается для базового text2vid: https://huggingface.co/THUDM/CogVideoX-5b

Он также автоматически загружается в ComfyUI/models/CogVideo/CogVideoX-5b , кодировщик текста не требуется, поскольку мы используем ComfyUI T5.

chrome_sxMlstknXt.mp4

Требуются диффузоры 0.30.1 (это указано в require.txt)

Использует ту же модель T5, что и SD3 и Flux, fp8 тоже работает нормально. Требования к памяти в основном зависят от длины видео. Декодирование VAE, по-видимому, является единственным большим процессом, который требует много видеопамяти, когда все выгружено, и на этом этапе на мгновение достигает пика около 13-14 ГБ. Сама выборка занимает всего 5-6 ГБ.

Взломан в img2img, чтобы попробовать рабочий процесс vid2vid, интересно работает с некоторыми входными данными, очень экспериментальный.

chrome_hrEYWEaEpK.mp4

chrome_BPxEX1OxXP.mp4

Также добавлено временное тайлинг как средство создания бесконечных видео:

https://github.com/kijai/ComfyUI-CogVideoXWrapper

AnimateDiff_00003.54.mp4

Исходное репо: https://github.com/THUDM/CogVideo.

CogVideoX-Fun: https://github.com/aigc-apps/CogVideoX-Fun

Сеть управления: https://github.com/TheDenk/cogvideox-controlnet.