Загрузка controlanimate - Загрузка исходного кода controlanimate

controlanimate

AI Исходный код

1.0.0

Скачать

ControlAnimate

Объединение AnimateDiff с Multi-ControlNet и Img2Img для приложений Vid2Vid. Эта небольшая библиотека специально ориентирована на приложения Vid2Vid и использует ControlNet (или Multi-ControlNet) для управления созданием видео и AnimateDiff для обеспечения согласованности.
Кроме того, он использует Img2Img для создания более последовательных видео (после первой эпохи). Подобно AnimateDiff, он позволяет использовать модели DreamBooth/LoRA в дополнение к базовой модели Stable Diffusion 1.5.
Это первоначальный выпуск, поэтому ожидайте потенциальных проблем и ошибок. Отзывы, предложения и пожелания по функциям приветствуются.

ControlAnimate

Новости

20 ноября 2023 г. — Теперь поддерживается IP-адаптер, xformers и сопоставление цветов!
12 ноября 2023 г. — Теперь поддерживаются LCM-LoRA и ControlNet для всех комбинаций!
7 ноября 2023 г. — Добавлена поддержка модели скрытой согласованности (LCM). Повышение производительности в 10 раз!

Поддерживаемые функции

? IP-адаптер (используется для повышения сходства пакетов кадров AnimateDiff)
? Модель скрытой согласованности LoRA (LCM-LoRA)
? Модель скрытой согласованности (LCM) Собственная
? Multi-ControlNet можно комбинировать с LCM и т. д.
? Взвешивание подсказок и длинные подсказки (Compel)
? DreamBooth и LoRA
? Интерполяция FFMPEG
? Согласование цветов между партиями для улучшения единообразия
? Скрытое перекрытие (Img2Img и ControlNet) и перекрытие кадров (смешивание)
? Улучшение и масштабирование лица (GFPGAN и RealESRGAN)
? Выборка произвольной частоты кадров, продолжительности и разрешения входного видео
? xformers включено

Совместимость и требования

Эта база кода тестировалась только в Linux (Ubuntu 22.04). Он был протестирован на компьютере Intel с NVIDIA Gefore RTX 3090 (24 ГБ видеопамяти) и требует не менее 16 ГБ ОЗУ.

Установка

Убедитесь, что у вас установлена Anaconda (https://www.anaconda.com/download).
Также убедитесь, что FFMPEG правильно установлен и настроен (вы можете следовать этим руководствам по установке: «Руководство 1», а если проблемы все еще остаются, это: «Руководство 2»). Вы можете установить путь к FFMPEG в файле configs/prompts yaml. файлы)

 git clone [email protected]:intellerce/controlanimate.git
cd ControlAnimate

bash download.sh

conda env create -f env.yml

Вид2Вид

После настройки файла конфигурации «configs/prompts/SampleConfig.yaml» просто запустите следующее (не забудьте указать действительный входной видеофайл):

 conda activate controlanimate
bash start.sh

Проверено на машине с одной RTX 3090.

Быстрое взвешивание

Оперативное взвешивание основано на Compel. Вы можете использовать + или (...)+ для обозначения важности или добавлять веса следующим образом: (cat)1.2 Аналогично вы можете использовать отрицательный знак (-), чтобы уменьшить вес, или использовать веса ниже 1. См. https:// github.com/damian0815/compel/blob/main/Reference.md для получения дополнительной информации.

Результаты

Четыре сети ControlNet и скрытое перекрытие (configs/prompts/SampleConfig.yaml)
LCM (без ControlNet) (configs/prompts/SampleConfigLCM.yaml)
LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigLCMLoRA.yaml)
IP-адаптер + LCM-LoRA + Multi-ControlNet (configs/prompts/SampleConfigIPAdapter.yaml)

Тодо

Релиз на GitHub
Исправления ошибок и улучшения
Исправление проблем с xformers и оптимизация памяти графического процессора
Поддержка Windows
Интерфейс

Связаться с нами

Хамед Омидвар, доктор философии : [email protected]
Вахиде Ахлаги, доктор философии. : [email protected]

Лицензия

Эта база кода выпущена под лицензией Apache v2.0. Лицензии для баз кода, на которых основан этот репозиторий, см. на соответствующих страницах Github/веб-сайта.