ComfyUI All in One FluxDev Workflow

ComfyUI-All-in-One-FluxDev-Workflow

Atualizado v0.2: corrigidos nós errados conectando-se ao nó florence2

Atualização 11/08/2024: Depois de mexer um pouco, encontrei uma maneira de reproduzir a imagem de alta qualidade com controlnet conforme eles demonstram em sua página Github/HF, também descobri que os 2 métodos de amostragem podem ser combinados e reorganizados em uma abordagem mais simples e eficiente, atualizarei a v0.3 em breve para incluir todas essas mudanças.

Visão geral

Criei um fluxo de trabalho FluxDev All-in-One no ComfyUI que combina várias técnicas para gerar imagens com o modelo FluxDev, incluindo img-to-img e text-to-img. Este fluxo de trabalho pode usar LoRAs, ControlNets, permitindo prompts negativos com Ksampler, limite dinâmico, pintura interna e muito mais. Observe que esta não é a forma “correta” de usar essas técnicas, mas sim minha interpretação pessoal baseada nas informações disponíveis.

Utilizando fortemente o nó USE Everywhere

Este fluxo de trabalho depende muito do nó USE Everywhere para torná-lo o mais limpo e eficiente possível para minhas necessidades diárias de geração. Estou compartilhando esse fluxo de trabalho com a comunidade para reunir insights e sugestões de melhorias. Sinta-se à vontade para experimentar por conta própria.

Principais recursos

• Alternar entre geração de imagem para imagem e texto para imagem
• Para geração de texto para imagem, escolha entre a resolução SDXL predefinida ou use o nó Calculadora de Resolução de Pixel para criar uma resolução baseada na proporção de aspecto e megapixel por meio do switch
• Carregar modelos ControlNet e LoRAs
• Amostragem com amostragem de modelo Flux e nó Sampler Custom Advance, com base no fluxo de trabalho de demonstração oficial original
• Amostragem com limiar dinâmico e nó Ksampler Advance, permitindo condicionamento positivo e negativo com FluxGuidance
• Pintura simples
• Correção de alta resolução como upscaling iterativo com Tiled Diffusion

Usando este fluxo de trabalho

1. Atualizado: nenhuma instalação personalizada manual é necessária, agora você pode encontrar os nós no gerenciador, basta seguir a etapa número 3. instale os nós personalizados da Calculadora de Resolução de Pixel por meio do URL git no ComfyUI Manager (ainda não enviei um pull) url: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. Baixe e importe o arquivo JSON para o ComfyUI
3. Instale nós ausentes por meio do gerenciador ComfyUI
4. Configurar os interruptores
5. Adicione prompts (ou use legendas detalhadas de LLMs de visão)
6. Carregar imagem ControlNet (opcional)
7. Ignore/desabilite os nós que você precisa
8. Gerar!

Requisitos

• Nós personalizados da minha calculadora de resolução de pixels (opcional)
• Pesos originais: flux1-dev.safetensors
• Versão FP8 (para sistemas VRAM <24 GB): flux1-dev-fp8.safetensors
• Codificadores de texto (coloque em ComfyUI/models/clip ): flux_text_encoders
• VAE (coloque ae.sft em ComfyUI/models/vae ): ae.safetensors
• Para menor uso de RAM, baixe o codificador FP8 T5XXL (com alguma degradação de qualidade)
• xlabs-ai flux-controlnet-canny peso controlnet.safetensors (coloque em ComfyUI/models/controlnet , abra a pasta se necessário)
• flux_RealismLora_converted flux_realism_lora.safetensors (coloque em ComfyUI/models/loras , abra a pasta se necessário)
• Ollama e lhava:13b (opcional)
• Modelo Microsoft Florence 2 (opcional, mas deve ser baixado automaticamente na primeira vez que você executá-lo)

Configuração de VRAM baixa:

Inicie o ComfyUI com o argumento "--lowvram" (adicione ao seu arquivo .bat) para descarregar o codificador de texto para a CPU

Erros conhecidos

• se você usar Ctrl + Z para desfazer alterações, alguns nós em qualquer lugar serão desconectados sozinhos, encontrarão os nós que perderam o link, desconectarão e reconectarão as entradas, tudo deverá funcionar novamente.

ControlNet e LoRA

No momento da criação deste fluxo de trabalho, existem dois ControlNets e vários LoRAs disponíveis, incluindo:

• Canny ControlNet e Realismo LoRA da XLabs-AI
• Rede de controle astuta do InstantX
• Estética (anime) LoRA para FLUX por advokat
• Também encontrei uma página de modelo de controle do netunion na página de rosto do instantX, então talvez tenhamos um modelo de união em um futuro próximo.

Eu testei apenas os LoRAs Canny e Realism do XLabs-AI, e aqui estão algumas conclusões importantes:

• Se você encontrar mensagens de erro informando que não há chaves, você precisará ir aos diretórios do ComfyUI e abrir um terminal para inserir o código: git checkout xlabs_flux_controlnet
• Pelos meus testes, o modelo parece ter sido treinado em proporções quadradas e na escala de orientação 4, também mencionada aqui
• Só consigo fazê-lo funcionar com um mínimo de solicitação, como a demonstração oficial do github. Prompts complexos não funcionarão. Embora não tenha conseguido reproduzir exatamente a mesma qualidade da demonstração, talvez esteja fazendo algo errado.
• Quanto ao LoRA, você precisará baixar o LoRA convertido por comfyanonymous para que funcione
• O controlnet XLabs se enquadra na licença não comercial FLUX.1 [dev] e, quanto ao intantX, estou com preguiça de encontrar qualquer informação sobre if (deveria ser o mesmo, certo?)
• Fluxo de trabalho LoRA baseado em fluxos de trabalho Simple + Advanced FLUX.1 ComfyUI por markury

Limiar Dinâmico e Solicitação Negativa

O fluxo de trabalho do Ksampler com limite dinâmico é baseado na postagem oficial do blog ComfyUI. E cito:

Observe que para ambos os modelos você pode usar SamplerCustomAdvanced com BasicGuider ou, se usar KSampler , definir CFG como 1 . Você pode usar o novo FluxGuidance no modelo Dev para controlar o valor destilado do tipo CFG. (Definir como 2 é recomendado para realismo ou melhor controle de estilo) Esses modelos são treinados para funcionar sem CFG real. Isso não quer dizer que você nunca poderá usar CFG - na verdade, a comunidade rapidamente aproveitou o ComfyUI como uma plataforma de experimentação para testar uma ampla variedade de truques para aproveitar ao máximo os novos modelos. (Como usar o nó personalizado Dynamic Thresholding ou usar o novo nó integrado FluxGuidance para compensar e ativar CFG e prompt negativo. Há também ModelSamplingFlux integrado para controlar a mudança sigma do Flux, embora seus benefícios sejam mais limitados.)

Tenha em mente que esta é minha própria interpretação e sinta-se à vontade para fazer alterações e experimentar.

Demonstração sem escolha de cereja com 0 tiros com este método de amostragem:

O nó da calculadora de resolução de pixel

Você pode encontrar o repositório aqui.

A Calculadora de Resolução de Pixel é um nó customizado que desenvolvi ontem com a ajuda do LLama3.1 (sim, não tenho habilidades de programação, aprendi do zero no caminho). É apenas um nó muito simples que gera a resolução de pixel "amigável à latente" mais próxima do megapixel e da proporção de aspecto de sua escolha. Inspirei-me no nó ImageScaleToTotalPixels do fluxo de trabalho de demonstração original do Flux, já que todo mundo parece falar sobre resolução de pixels em vez de contagem de pixels de largura e altura como no SDXL. Há também um nó para converter uma entrada de amostra latente em contagem de pixels de largura e altura.

Upscaling com difusão em mosaico

Um fluxo de trabalho de upscaling também está incluído. Ele usa o nó Iterative Upscale (Image) do pacote Impact e difusão lado a lado para criar uma correção de alta resolução, como upscaling e detalhamento do grupo de nós com o modelo upscale de sua escolha. Você também pode fazer denoise, CFG e agendamento de etapas com o gancho PK.

Imagem de demonstração compare aqui.

Pintura

Como ainda não existe um modelo de pintura interna treinado para Flux, apenas a forma mais simples de pintura interna pode ser alcançada aqui. Você também pode tentar incorporar ControlNets, mas preste atenção à resolução quadrada e à escala de orientação (4) .

Ollama e Florença2

Apenas alguns nós simples para executar ollama e Florence2 para usar o vision LLm para legendas de detalhes e para obter insights imediatos, estou usando LLaVa 13B e Florence2 grande na demonstração. Você precisará dos nós Ollama, Ollama ComfyUI e Florence2 ComfyUI, veja os links para uso detalhado e guia de instalação.

Guia detalhado

Um guia mais detalhado será adicionado se as pessoas acharem difícil de usar....

---

Bobagem

Flux é um modelo muito flexível e, por ser uma primeira versão, é muito impressionante. Duas semanas após o lançamento, já existem ControlNets e LoRAs disponíveis, o que mostra o quanto a comunidade adora este modelo. Agora estou ansioso por alguns modelos de pintura. E o mais importante, Matteo, por favor, libere um iPadapter para Flux... por favor, o quebra-cabeça que falta e estou completo....

Feliz geração!

PS: Estou incluindo o prompt que uso com LLama3.1 para me ajudar a fazer verificações ortográficas e gramaticais neste mesmo repositório sem motivo:

Atue como um escritor profissional com um forte conjunto de habilidades de escrita e um profundo conhecimento da escrita em geral. Ajude os usuários a reescrever, reformatar e realizar verificações gramaticais e ortográficas mediante solicitação. Suas tarefas devem incluir:

1. Reescrever documentos para garantir gramática e ortografia corretas.
2. Reformular frases para torná-las mais fluentes e fáceis de entender.
3. Formatação de conteúdo usando Markdown para melhorar a legibilidade.
4. Preservando o conteúdo original : Não exclua, modifique ou adicione informações desnecessárias ao documento.
5. Mantendo a formatação Markdown existente : Se o documento já usa Markdown, mantenha a formatação intacta. Você pode reformatar se necessário, mas evite impactar a estrutura original.
6. Preservando termos técnicos : Evite reescrever termos específicos relacionados ao tema, como “Ksampler” ou “LoRAs”, a menos que não tenha certeza sobre seu significado. Nesse caso, peça confirmação ao usuário.
7. Preservando o tom original : Mantenha o tom do documento consistente, seja ele formal ou informal. Certifique-se de que as piadas e os elementos humorísticos permaneçam intactos.

Além disso, por favor:

1. Use o pensamento em cadeia : compartilhe seu processo de pensamento ao reescrever o documento, explicando o raciocínio por trás das mudanças.
2. Listar alterações feitas : Especifique as alterações feitas no documento, permitindo que o usuário acompanhe as revisões.
3. Forneça sugestões : se houver várias maneiras de reescrever uma seção, ofereça sugestões e deixe o usuário decidir qual abordagem prefere.

Você entende esses requisitos?