disco diffusion

Дискотека диффузия

Франкенштейновое объединение ноутбуков, моделей и методов для поколения искусства и анимации ИИ.

[скоро будет обновлена ​​с дополнительной информацией]

Внося

В этом проекте используется специальный инструмент преобразования для преобразования файлов Python в ноутбуки для облегчения разработки.

Это означает, что вам не нужно напрямую касаться записной книжки, чтобы внести в него изменения

используемый инструмент называется Colab-Convert

• Установите с помощью pip install colab-convert
• преобразовать .py в .ipynb colab-convert /path/to/file.py /path/to/file.ipynb
• преобразовать .ipynb в .py colab-convert /path/to/file.ipynb /path/to/file.py

Изменение

v1 29 октября 2021 г. - Сомнай

• Добавлены начальные улучшения QOL, включая пользовательский пользовательский интерфейс, настройки+сохранение быстрого сохранения и улучшенная организация папок Google Drive.

v1.1 13 ноября 2021 г. - Сомнай

• Теперь включает в себя параметры размеров, промежуточные сохранения и фиксированные подсказки изображения и Perlin Inits. Неожиданный пакетный вариант, так как он не работает

V2 Обновление: 22 ноября 2021 г. - Somnai

• Первоначальное добавление метода вторичной модели Кэтрин Кроусон (https://colab.research.google.com/drive/1mpkrhojoyzpeswy2r7t8eyrau7amyooi#scrollto=x5godnameucr)
• Исправление для неправильно названных файлов настроек

V3 Обновление: 24 декабря 2021 г. - Сомнай

• Реализованный метод выреза Данго
• Добавленные модели скольжения, благодаря NeuralDivergent
• Исправлена ​​проблема с NAN, что приводит к черным изображениям, с огромной помощью и тестированием с @Softology
• Перлин теперь правильно изменяется в пределах партий (не уверен, откуда этот код Perlin_regen изначально взялся, но спасибо)

V4 Обновление: январь 2022 - Сомнай

• Реализованное масштабирование диффузии
• Добавлен Chigozie KeyFraming
• Сделал кучу прав на процессы

v4.1 Обновление: 14 января 2022 года - Сомнай

• Добавлен режим видео ввода
• Добавил лицензию, которая каким -то образом пропала без вести
• Добавлено улучшенное подсказок, фиксированный image_prompts и несколько подсказок
• Улучшенный пользовательский интерфейс
• Значительный при очистке и улучшении капота
• Утонченные значения по умолчанию для каждого режима
• Удаленные модели скольжения на данный момент из -за конфликтов импорта
• Добавлены Superres Litent-Diffusion для заточки
• Добавлен режим запуска резюме

V5 Обновление: 20 февраля 2022 года - Гандаму / Адам Леттс

• Добавлен 3D -режим анимации. Использует взвешенную комбинацию моделей оценки глубины Adabins и MIDAS. Использует Pytorch3d для 3D -преобразований на Colab и/или Linux.

v5.1 Обновление: 30 марта 2022 года - Zippy / Chris Allen и Gandamu / Adam Letts

• Интегрированные турбо+плавные функции из диффузионной диффузии Turbo - только реализация, без его по умолчанию.
• Реализовано резюме турбо -анимации таким образом, что теперь можно возобновить из разных папок и партийных номеров.
• Единицы параметров 3D вращения теперь являются степенями (а не радианами)
• Скорректированное столкновение в Collision в sampling_mode (теперь Diffusion_sampling_Mode для PLMS/DDIM и SMARHING_MODE для отбора проб 3D преобразования)
• Добавлена ​​опция video_init_seed_continuity, чтобы сделать анимацию инициировать видео более непрерывными
• Удален Pytorch3d с необходимостью быть скомпилированной с версией Lite, специально предназначенной для диффузии дискотеки
• Удалить супер разрешение
• Снимите модели скольжения
• Обновление для поддержки Crossplatform

v5.1 Обновление: 4 апреля 2022 года - MSFTServer AKA Hostserver

• Удален Pytorch3d с необходимостью быть скомпилированной с версией Lite, специально предназначенной для диффузии дискотеки
• Удалить супер разрешение
• Снимите модели скольжения
• Обновление для поддержки Crossplatform

v5.2 Обновление: 10 апреля 2022 года - Nin_artificial / Tom Mason

• VR -режим

v5.3 Обновление: 10 июня 2022 года - Nshepperd, Huemin, Cut_pow

• Горизонтальная и вертикальная симметрия
• Добавление модели Vit-L/14@336px (требует высокого VRAM)

v5.4 Обновление: 14 июня 2022 года - Devdef / Alex Spirin, интегрированный в DD Main Гандаму / Адам Леттс

• Режим деформации - для гладких/непрерывных результатов видео входа, используя оценку оптического потока и смешивание кадров
• Поддержка пользовательских моделей

v5.5 Обновление: 11 июля 2022 года - Palmweaver / Chris Scalf, Kaliyuga_ai, Дополнительная интеграция Гандаму / Адам Леттс

• Интеграция моделей OpenClip
• Диффузия пиксельных искусств, диффузия акварели и модели диффузии пульпы SCIFI
• CUT_IC_POW планирование

v5.6 Обновление: 13 июля 2022 г. - Felipe3dartist, интеграция Гандаму / Адам Леттс

• Integrated Portrait_Generator_V001 - 512x512 Диффузионная модель, обученная на лицах - от Felipe3dartist

v5.7 Обновление: 31 декабря 2022 года - Штеффен Молтер (с незначительной интеграцией Colab -Convert Gandamu)

• Клон Midas V3 специально. Это исправляет 3D -режим. Он был сломан с тех пор, как Midas V3.1 ввел несовместимость.

Записная книжка Provenance

Оригинальная записная книжка Кэтрин Кроусон (https://github.com/crowsonkb, https://twitter.com/rivershavewings). Он использует либо безусловную диффузионную модель 512x256, либо модель диффузии 512x512 (https://github.com/openai/clip), вместе с Clip (https://github.com/openai/clip), чтобы соединить текстовые подсказки с изображениями.

Модифицирован Даниэлем Расселом (https://github.com/russelldc, https://twitter.com/danielrussruss), чтобы включить (надежда) оптимальные параметры для быстрого поколения в 15-100 временных точках, а не 1000, а также больше устойчивости Полем

Дальнейшие улучшения от Dango233 и NSHEPPERD помогли улучшить качество диффузии в целом, и особенно для более коротких пробежек, таких как этот ноутбук, который направлен на достижение.

Варк добавил код для загрузки в несколько моделей клипов одновременно, с которыми все подсказки оцениваются, что может значительно повысить точность.

Последние функции Zoom, Pan, rowtation и KeyFrames были взяты из записной книжки Zoom Zoom от Chigozie Nri (https://github.com/chigozienri, https://twitter.com/chigozienri)

Усовершенствованный метод выреза Dangocutn также от Dango223.

-

Somnai (https://twitter.com/somnai_dreams) добавили 2D -диффузионные методы анимации, улучшения QOL и различные реализации технологий и методов, в основном перечисленные в измене ниже.

Реализация 3D анимации добавлена ​​Адамом Леттсом (https://twitter.com/gandamu_ml) в сотрудничестве с Somnai.

Функция Turbo от Криса Аллена (https://twitter.com/zippy731)

Улучшения возможности запуска в локальных системах, поддержке Windows и установке зависимостей Hostserver (https://twitter.com/hostsserver)

Режим VR Тома Мейсона (https://twitter.com/nin_artificial)

Горизонтальная и вертикальная функциональность симметрии с помощью NSHEPPERD. Symmetry Transformation_steps от huemin (https://twitter.com/huemin_art). Интеграция симметрии в диффузию DIMNARII Tochilkin (https://twitter.com/cut_pow).

Поддержка Warp и пользовательская модель от Алекса Спирона (https://twitter.com/devdef).

Диффузия пикселей, диффузия акварели и модели диффузии SCIFI пульпы от Калиюги (https://twitter.com/kaliyuga_ai). Следите за Twitter Kaliyuga для последних моделей и за записниками со специализированными настройками.

Интеграция моделей OpenClip и инициация интеграции моделей Kaliyuga от Palmweaver/Chris Scalf (https://twitter.com/chrisscalf11)

Integrated Portrait_Generator_V001 от Felipe3Dartist (https://twitter.com/felipe3dartist)

MIDAS версия Fix от Steffen Moelter (необходимое исправление для режима 3D -анимации после введения Midas V3.1).