disco diffusion

Diffusion disco

Une fusion frankensteinienne de cahiers, modèles et techniques pour la génération d'art et d'animations de l'IA.

[Pour être mis à jour avec plus d'informations bientôt]

Contributif

Ce projet utilise un outil de conversion spécial pour convertir les fichiers Python en ordinateurs portables pour un développement plus facile.

Cela signifie que vous n'avez pas à toucher directement le cahier pour apporter des modifications à lui

L'outil utilisé est appelé colab-convert

• Installer à l'aide pip install colab-convert
• convertir .py en .ipynb colab-convert /path/to/file.py /path/to/file.ipynb
• convertir .ipynb en .py colab-convert /path/to/file.ipynb /path/to/file.py

Changelog

v1 29 octobre 2021 - Somnai

• Améliorations initiales de la qualité de vie ajoutées, y compris l'interface utilisateur conviviale, les paramètres + la sauvegarde invite et l'amélioration de l'organisation du dossier Google Drive.

v1.1 13 novembre 2021 - Somnai

• Comprend désormais des options de dimensionnement, des sauvegardes intermédiaires et des invites d'image fixes et des inits Perlin. Option de lots non exposés puisque cela ne fonctionne pas

Mise à jour V2: 22 novembre 2021 - Somnai

• Ajout initial de la méthode du modèle secondaire de Katherine Crowson (https://colab.research.google.com/drive/1mpkrhojoyzpeswy2r7t8eyrau7amyooi#scrollto=x5godnameucr)
• Correction des fichiers de paramètres mal nommés

Mise à jour V3: 24 décembre 2021 - Somnai

• Implémentation de la méthode de découpe avancée de Dango
• Ajout de modèles de glissement, grâce à NeuralDivergent
• Problème fixe avec NANS résultant en images noires, avec une aide et des tests massifs de @softology
• Perlin change désormais correctement dans les lots (je ne sais pas d'où vient ce code Perlin_Regen provient à l'origine, mais merci)

Mise à jour V4: janvier 2022 - Somnai

• Zoom de diffusion implémenté
• Ajout de Chigozie Keyframing
• Fait un tas de modifications aux processus

V4.1 Mise à jour: 14 janvier 2022 - Somnai

• Mode d'entrée vidéo ajouté
• Ajout d'une licence qui a disparu en quelque sorte
• Ajout d'une invite améliorée en framming, fixe Image_Prompts et plusieurs invites
• UI amélioré
• Significatif sous le nettoyage et l'amélioration du capot
• Par défaut raffinés pour chaque mode
• Supprimé les modèles de glissement pour le moment dû à des conflits d'importation
• Ajout de superres de diffusion latente pour l'affûtage
• Ajout du mode d'exécution de curriculum vitae

Mise à jour V5: 20 février 2022 - Gandamu / Adam Letts

• Ajout du mode d'animation 3D. Utilise une combinaison pondérée de modèles d'estimation des adabins et de la profondeur Midas. Utilise Pytorch3d pour les transformations 3D sur Colab et / ou Linux.

V5.1 Mise à jour: 30 mars 2022 - Zippy / Chris Allen et Gandamu / Adam Letts

• Fonctionnalités turbo + lisses intégrées à partir de Disco Diffusion Turbo - juste l'implémentation, sans ses valeurs par défaut.
• CV implémenté des animations turbo de telle manière qu'il est désormais possible de reprendre à partir de différents dossiers par lots et numéros de lots.
• Les unités de paramètres de rotation 3D sont maintenant des degrés (plutôt que des radians)
• Collision du nom corrigé dans Sampling_Mode (maintenant diffusion_sampling_mode pour plm
• Ajout de la vidéo_init_seed_continuity option pour rendre les animations vidéo init plus continues
• Supprimé pytorch3d de avoir besoin d'être compilé avec une version Lite spécifiquement conçue pour la diffusion disco
• Retirer la super résolution
• Supprimer les modèles de glissement
• Mise à jour du support croisé

V5

• Supprimé pytorch3d de avoir besoin d'être compilé avec une version Lite spécifiquement conçue pour la diffusion disco
• Retirer la super résolution
• Supprimer les modèles de glissement
• Mise à jour du support croisé

V5.2 Mise à jour: 10 avril 2022 - Nin_artificial / Tom Mason

• Mode VR

V5.3 Mise à jour: 10 juin 2022 - Nshepperd, Huemin, Cut_Pow

• Symétrie horizontale et verticale
• Ajout de modèle Vit-L / 14 @ 336px (nécessite un VRAM élevé)

V5.4 MISE À JOUR: 14 juin 2022 - DevDef / Alex Spirin, intégré dans DD Main par Gandamu / Adam Letts

• Mode WARP - Pour les résultats d'entrée vidéo lisses / continues tirant parti de l'estimation du débit optique et du mélange de trame
• Prise en charge des modèles personnalisés

V5.5 Mise à jour: 11 juil 2022 - Palmweaver / Chris Scalf, Kaliyuga_ai, intégration supplémentaire de Gandamu / Adam Letts

• Intégration des modèles OpenClip
• Diffusion d'art pixel, diffusion aquarelle et modèles de diffusion SciFi de la pulpe
• Cut_IC_POW PLANIFICATION

V5.6 MISE À JOUR: 13 juil 2022 - Felipe3Dartist, intégration de Gandamu / Adam Letts

• Portrait intégré_Generator_V001 - 512x512 Modèle de diffusion formé sur les visages - de Felipe3Dartist

V5.7 MISE À JOUR: 31 décembre 2022 - Steffen Moelter (avec intégration mineure de colab-converti par Gandamu)

• Clone Midas V3 spécifiquement. Cela corrige le mode 3D. Il avait été brisé depuis que Midas V3.1 a introduit une incompatibilité.

Provenance du cahier

Carnet original de Katherine Crowson (https://github.com/crowsonkb, https://twitter.com/rivershavewings). Il utilise le 256x256 Openai Imagenel Imagenet ou le modèle de diffusion 512x512 de Katherine Crowson (https://github.com/openai/guided-diffusion), avec Clip (https://github.com/openai/clip) Invites de texte avec des images.

Modifié par Daniel Russell (https://github.com/russelldc, https://twitter.com/danielrussruss) pour inclure (espérons-le) des paramètres optimaux pour les générations rapides dans 15-100 horodatages plutôt que 1000, ainsi que des augmentations plus robustes .

D'autres améliorations de Dango233 et Nshepperd ont contribué à améliorer la qualité de la diffusion en général, et en particulier pour les courses plus courtes comme ce cahier vise à réaliser.

Vark a ajouté du code pour charger dans plusieurs modèles de clip à la fois, contre lesquels toutes les invites sont évaluées, ce qui peut améliorer considérablement la précision.

Les dernières fonctionnalités de zoom, de pan, de rotation et d'images clés ont été tirées du cahier de zoom VQGAN de Chigozie Nri (https://github.com/chigozienri, https://twitter.com/chigozienri)

La méthode de découpe Advanced Dangocutn provient également de Dango223.

-

Somnai (https://twitter.com/somnai_dreams) a ajouté des techniques d'animation de diffusion 2D, des améliorations de la qualité de vie et diverses implémentations de la technologie et des techniques, principalement répertoriées dans le changelog ci-dessous.

Implémentation d'animation 3D ajoutée par Adam Letts (https://twitter.com/gandamu_ml) en collaboration avec Somnai.

Turbo Feature par Chris Allen (https://twitter.com/zippy731)

Améliorations de la capacité à exécuter sur les systèmes locaux, la prise en charge de Windows et l'installation de dépendance par HostsServer (https://twitter.com/hostsserver)

Mode VR par Tom Mason (https://twitter.com/nin_artificial)

Fonctionnalité de symétrie horizontale et verticale par nshepperd. Symmetry Transformation_steps par Huemin (https://twitter.com/huemin_art). Intégration de symétrie dans la diffusion disco par dmitrii tochilkin (https://twitter.com/cut_pow).

Warp et support de modèle personnalisé par Alex Spirin (https://twitter.com/devdef).

Pixel Art Diffusion, diffusion aquarelle et modèles de diffusion SciFi de la pulpe de Kaliyuga (https://twitter.com/kaliyuga_ai). Suivez Twitter de Kaliyuga pour les derniers modèles et pour les cahiers avec des paramètres spécialisés.

Intégration des modèles d'OpenClip et initiation de l'intégration des modèles Kaliyuga par Palmweaver / Chris Scalf (https://twitter.com/chrisscalf11)

Portrait intégré_Generator_V001 de Felipe3Dartist (https://twitter.com/felipe3dartist)

Fix de balises de version Midas par Steffen Moelter (une correction nécessaire pour le mode d'animation 3D après l'introduction de Midas V3.1).