Difusão de discoteca
Uma fusão de Frankensteinian de cadernos, modelos e técnicas para a geração de arte e animações da IA.
[Para ser atualizado com mais informações em breve]
Contribuindo
Este projeto usa uma ferramenta de conversão especial para converter os arquivos Python em notebooks para facilitar o desenvolvimento.
O que isso significa é que você não precisa tocar no caderno diretamente para fazer alterações nele
A ferramenta que está sendo usada é chamada colab-convert
- Instale usando
pip install colab-convert - Converta .py em .ipynb
colab-convert /path/to/file.py /path/to/file.ipynb - Converta .ipynb em .py
colab-convert /path/to/file.ipynb /path/to/file.py
Changelog
V1 29 de outubro de 2021 - Somnai
- As melhorias iniciais da QV adicionadas, incluindo a interface do usuário amigável, as configurações+economia rápida e a organização aprimorada da pasta do Google Drive.
v1.1 13 de novembro de 2021 - Somnai
- Agora inclui opções de dimensionamento, salvamentos intermediários e prompts de imagem fixa e inits perlin. opção em lote não exposta, pois não funciona
V2 Atualização: 22 de novembro de 2021 - Somnai
- Adição inicial do método do modelo secundário de Katherine Crowson (https://colab.research.google.com/drive/1mpkrhojoyzpeswy2r7t8eyrau7amyooi#scrollTo=X5GNameucr)
- Corrija os arquivos de configurações nomeados incorretamente
Atualização v3: 24 de dezembro 2021 - Somnai
- Implementou o método de recorte avançado de Dango
- Modelos de deslizamento adicionados, graças ao Neuraldivergent
- Corrigido o problema com Nans, resultando em imagens pretas, com ajuda e testes maciços de @Softology
- Perlin agora muda corretamente em lotes (não tenho certeza de onde esse código Perlin_regen veio originalmente, mas obrigado)
Atualização v4: janeiro de 2022 - Somnai
- Implementou o zoom de difusão
- Adicionado Chigozie keyframing
- Fez um monte de edições para processos
v4.1 Atualização: 14 de janeiro de 2022 - Somnai
- Adicionado modo de entrada de vídeo
- Licença adicionada que de alguma forma desapareceu
- Adicionado Prompt aprimorado keyframing, fixo image_prompts e vários prompts
- UI aprimorada
- Significativo sob a limpeza e melhoria do capô
- Padrões refinados para cada modo
- Modelos de deslizamento removidos por enquanto, devido a conflitos de importação
- Adicionado Superres de difusão latente para afiar
- Adicionado Modo Run Run Run
Atualização V5: 20 de fevereiro de 2022 - Gandamu / Adam Letts
- Adicionado modo de animação 3D. Utiliza combinação ponderada de adabins e modelos de estimativa de profundidade MIDAS. Usa pytorch3d para transformações 3D no COLAB e/ou Linux.
V5.1 Atualização: 30 de março de 2022 - Zippy / Chris Allen e Gandamu / Adam Letts
- Recursos Turbo+Integrados do Disco Difusão Turbo - apenas a implementação, sem seus padrões.
- Resumo implementado de animações turbo de tal maneira que agora é possível retomar de diferentes pastas em lote e números em lote.
- As unidades de parâmetros de rotação 3D agora são graus (em vez de radianos)
- Nome corrigido Collisão em sampling_mode (agora difusão_sampling_mode para plms/ddim, e sampling_mode para amostragem de transformação 3D)
- Adicionada opção Video_init_seed_continuity para tornar as animações de vídeo init mais contínuas
- Pytorch3d removido de precisar ser compilado com uma versão Lite feita especificamente para difusão de discoteca
- Remova a super resolução
- Remova os modelos de deslizamento
- Atualização para suporte cruzado
V5.1 Atualização: 4 de abril 2022 - MSFTSERVER AKA HOSTSSERVER
- Pytorch3d removido de precisar ser compilado com uma versão Lite feita especificamente para difusão de discoteca
- Remova a super resolução
- Remova os modelos de deslizamento
- Atualização para suporte cruzado
v5.2 Atualização: 10 de abril 2022 - Nin_artificial / Tom Mason
v5.3 Atualização: 10 de junho de 2022 - NSHEPERD, Huemin, Cut_pow
- Simetria horizontal e vertical
- Adição de modelo Vit-L/14@336px (requer alta VRAM)
v5.4 Atualização: 14 de junho de 2022 - Devdef / Alex Spirin, integrado ao DD Main por Gandamu / Adam Letts
- Modo de urdidura - Para resultados de entrada de vídeo suave/contínua, alavancando a estimativa de fluxo óptico e a mistura de quadros
- Suporte de modelos personalizados
V5.5 Atualização: 11 de julho 2022 - Palmweaver / Chris Scalf, Kaliyuga_ai, integração adicional de Gandamu / Adam Letts
- OpenClip Models Integration
- Difusão de arte de pixel, difusão em aquarela e modelos de difusão de polpa escolar
- cut_ic_pow Agendamento
v5.6 Atualização: 13 de julho 2022 - Felipe3Dartist, Integração de Gandamu / Adam Letts
- Retrato integrado_generator_v001 - 512x512 Modelo de difusão treinado em faces - de Felipe3Dartist
v5.7 Atualização: 31 de dezembro 2022 - Steffen Moelter (com integração menor de colab -conversor por Gandamu)
- Clone midas v3 especificamente. Isso corrige o modo 3D. Foi quebrado desde que o Midas v3.1 introduziu uma incompatibilidade.
Proveniência do notebook
Notebook original de Katherine Crowson (https://github.com/crowsonkb, https://twitter.com/rivershavewings). Ele usa o Imagenet incondicional 256x256 da Openai ou o modelo de difusão 512x512 de Katherine Crowson (https://github.com/openai/guided-diffusion), juntamente com clip (https://github.com/openai/clip), para conectar Promotos de texto com imagens.
Modificado por Daniel Russell (https://github.com/russelldc, https://twitter.com/danielrussruss) para incluir (esperançosamente) parâmetros ótimos para gerações rápidas em 15-100 texinco em vez de 1000, além de mais aumentos robustos .
Melhorias adicionais de Dango233 e NShepperd ajudaram a melhorar a qualidade da difusão em geral, e especialmente para corridas mais curtas como este notebook, visa alcançar.
A Vark adicionou código para carregar em vários modelos de clipe de uma só vez, com o qual todos os avisos são avaliados, o que pode melhorar bastante a precisão.
Os recursos mais recentes de zoom, pan, rotação e quadros -chave foram retirados do notebook VQGAN Zoom de Chigozie NRI (https://github.com/chigozienri, https://twitter.com/chigozienri)
O método avançado de corte de Dangocutn também é de Dango223.
-
Somnai (https://twitter.com/somnai_dreams) adicionou técnicas de animação em difusão 2D, melhorias na QV e várias implementações de tecnologia e técnicas, listadas principalmente no Changelog abaixo.
Implementação de animação em 3D adicionada por Adam Letts (https://twitter.com/gandamu_ml) em colaboração com a Somnai.
Recurso Turbo de Chris Allen (https://twitter.com/zippy731)
Melhorias na capacidade de executar em sistemas locais, suporte ao Windows e instalação de dependência pelo HostSserver (https://twitter.com/hostsserver)
Modo VR de Tom Mason (https://twitter.com/nin_artificial)
Funcionalidade de simetria horizontal e vertical por NShepperd. Symmetry Transformation_Steps por Huemin (https://twitter.com/huemin_art). Integração de simetria na difusão de disco por Dmitrii Tochilkin (https://twitter.com/cut_pow).
Sobrista de Warp e Modelo Custom de Alex Spirin (https://twitter.com/devdef).
Modelos de difusão de arte de pixel, difusão em aquarela e difusão de polpa de polpa de kaliyuga (https://twitter.com/kaliyuga_ai). Siga o Twitter de Kaliyuga para obter os modelos mais recentes e notebooks com configurações especializadas.
Integração de modelos OpenClip e iniciação da integração de modelos Kaliyuga por Palmweaver/Chris Scalf (https://twitter.com/chrisscalf11)
Retrato integrado_generator_v001 do Felipe3Dartist (https://twitter.com/felipe3Dartist)
Correção da tag de versão MIDAS por Steffen Moelter (uma correção necessária para o modo de animação 3D após a introdução do MIDAS V3.1).
