Implementação de referência ComfyUI para modelos IPAdapter.
Os IPAdapter são modelos muito poderosos para condicionamento imagem a imagem. O assunto ou mesmo apenas o estilo da(s) imagem(s) de referência podem ser facilmente transferidos para uma geração. Pense nisso como uma lora de 1 imagem.
Patrocinador do Github | PayPal
Se você gosta do meu trabalho e deseja ver atualizações e novos recursos, considere patrocinar meus projetos.
Adaptador ComfyUI IP Plus
ComfyUI InstantID (nativo)
Fundamentos do ComfyUI
ComfyUI FaceAnálise
Sem falar na documentação e nos vídeos tutoriais. Verifique meus vídeos de ComfyUI Advanced Understanding no YouTube, por exemplo, parte 1 e parte 2
A única maneira de manter o código aberto e gratuito é patrocinando o seu desenvolvimento. Quanto mais patrocínios, mais tempo posso dedicar aos meus projetos de código aberto.
Por favor, considere um patrocínio do Github ou uma doação do PayPal (Matteo "matt3o" Spinelli). Para patrocínios acima de US$ 50, deixe-me saber se você gostaria de ser mencionado neste arquivo leia-me. Você pode me encontrar no Discord ou matt3o? gmail . com.
13/09/2024 : Corrigido um bug desagradável no patch do bloco intermediário que estamos carregando desde o início. Infelizmente as imagens geradas não serão exatamente as mesmas de antes. De qualquer forma o bloco do meio não tem um grande impacto, então não deve ser grande coisa. Não afeta a transferência de estilo ou composição, apenas gerações lineares. Geralmente não relato pequenas correções de bugs, mas esta pode causar resultados diferentes, então achei que valeria a pena mencioná-la.
2024/08/02 : Suporte para Kolors FaceIDv2. Verifique o exemplo de fluxo de trabalho para conhecer as práticas recomendadas.
2024/07/26 : Adicionado suporte para lotes de imagens e animação ao ClipVision Enhancer.
18/07/2024 : Suporte para Kolors.
17/07/2024 : Adicionado nó experimental ClipVision Enhancer. De alguma forma, foi inspirado no artigo Scaling on Scales, mas a implementação é um pouco diferente. O novo IPAdapterClipVisionEnhancer tenta capturar pequenos detalhes colocando as incorporações lado a lado (em vez da imagem no espaço de pixels), o resultado é uma incorporação visual de resolução um pouco mais alta, sem custo de desempenho.
2024/07/11 : Adicionada transferência experimental de composição precisa (layout). Não é tão bom quanto estilo. embeds_scaling tem um enorme impacto. Comece com força 0,8 e aumente 0,3 em SDXL e 0,6 aumente 0,35 em SD1,5.
28/06/2024 : Adicionado o nó IPAdapter Precise Style Transfer . Aumente a opção style_boost para diminuir o sangramento da camada de composição. Importante: funciona melhor em SDXL, comece com style_boost de 2; para SD1.5 tente aumentar o peso um pouco mais de 1,0 e defina style_boost para um valor entre -1 e +1, começando com 0.
2024/06/22 : Adicionada style transfer precise , oferece menos sangramento de incorporações entre as camadas de estilo e composição. Às vezes é melhor que a transferência de estilo padrão, especialmente se a imagem de referência for muito diferente da imagem gerada. Funciona melhor em SDXL do que SD1.5.
21/05/2024 : Melhor alocação de memória quando encode_batch_size . Útil principalmente para animações muito longas.
02/05/2024 : Adicione encode_batch_size ao nó de lote avançado. Isto pode ser útil para animações com muitos quadros para reduzir o uso de VRAM durante a codificação da imagem. Observe que os resultados serão ligeiramente diferentes com base no tamanho do lote.
2024/04/27 : Refatorado o IPAdapterWeights, útil principalmente para animações AnimateDiff.
21/04/2024 : Adicionados nós de condicionamento regional para simplificar o mascaramento de atenção e o condicionamento de texto mascarado.
16/04/2024 : Adicionado suporte para o novo modelo SDXL retrato não padrão (link abaixo). É muito forte e tende a ignorar o condicionamento do texto. Reduza o CFG para 3-4 ou use um nó RescaleCFG.
(Atualizações mais antigas removidas para facilitar a leitura)
O diretório de exemplos possui muitos fluxos de trabalho que cobrem todas as funcionalidades do IPAdapter.
Novos recursos do IPAdapter
Estilo e composição do adaptador IP
Os vídeos a seguir são sobre a versão anterior do IPAdapter, mas ainda contêm informações valiosas.
Vídeo de uso básico, ? Recursos avançados de vídeo, ? Atenção vídeo de mascaramento, ? Vídeo de recursos de animação
Baixe ou git clone este repositório dentro do diretório ComfyUI/custom_nodes/ ou use o Manager. O IPAdapter sempre requer a versão mais recente do ComfyUI. Se algo não funcionar, certifique-se de atualizar. Esteja ciente de que a atualização automática do gerenciador às vezes não funciona e pode ser necessário atualizar manualmente.
Agora existe um Unified Model Loader , para que funcione você precisa nomear os arquivos exatamente como descrito abaixo. Os carregadores legados funcionam com qualquer nome de arquivo, mas você precisa selecioná-los manualmente. Os modelos podem ser colocados em subdiretórios.
Lembre-se de que você também pode usar qualquer local personalizado definindo uma entrada ipadapter no arquivo extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, baixe e renomeie
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, baixe e renomeie
clip-vit-large-patch14-336.bin, baixe e renomeie apenas para modelos Kolors
/ComfyUI/models/ipadapter , crie-o se não estiver presente
ip-adapter_sd15.safetensors, modelo básico, resistência média
ip-adapter_sd15_light_v11.bin, modelo de impacto leve
ip-adapter-plus_sd15.safetensors, modelo Plus, muito forte
ip-adapter-plus-face_sd15.safetensors, modelo de rosto, retratos
ip-adapter-full-face_sd15.safetensors, modelo de rosto mais forte, não necessariamente melhor
ip-adapter_sd15_vit-G.safetensors, modelo básico, requer codificador de visão de clipe bigG
ip-adapter_sdxl_vit-h.safetensors, modelo SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, modelo SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, modelo de rosto SDXL
ip-adapter_sdxl.safetensors, modelo vit-G SDXL, requer codificador de visão de clipe bigG
IP-adapter_sd15_light.safetensors obsoleto , modelo de impacto leve v1.0
Os modelos FaceID requerem insightface , você precisa instalá-lo em seu ambiente ComfyUI. Verifique este problema para obter ajuda. Lembre-se de que a maioria dos modelos FaceID também precisa de LoRA.
Para que o Unified Loader funcione, os arquivos precisam ser nomeados exatamente como mostrado na lista abaixo.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, modelo FaceID básico
ip-adapter-faceid-plusv2_sd15.bin, FaceID mais v2
ip-adapter-faceid-portrait-v11_sd15.bin, transferência de estilo de prompt de texto para retratos
ip-adapter-faceid_sdxl.bin, FaceID base SDXL
ip-adapter-faceid-plusv2_sdxl.bin, SDXL mais v2
ip-adapter-faceid-portrait_sdxl.bin, transferência de estilo de prompt de texto SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin, transferência de estilo muito forte apenas SDXL
IP-adapter-faceid-plus_sd15.bin obsoleto , FaceID plus v1
IP-adapter-faceid-portrait_sd15.bin obsoleto , v1 do modelo retrato
A maioria dos modelos FaceID requer um LoRA. Se você usar o IPAdapter Unified Loader FaceID ele será carregado automaticamente se você seguir a convenção de nomenclatura. Caso contrário, você terá que carregá-los manualmente, tome cuidado para que cada modelo FaceID seja emparelhado com seu próprio LoRA específico.
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL mais v2 LoRA
IP-adapter-faceid-plus_sd15_lora.safetensors obsoleto , LoRA para o modelo FaceID plus v1 obsoleto
Todos os modelos podem ser encontrados no huggingface.
A comunidade criou alguns modelos interessantes de IPAdapter.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, composição geral ignorando estilo e conteúdo, mais sobre isso aqui
ip_plus_composition_sdxl.safetensors, versão SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus para modelo Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 para modelo Kolors. Nota: Kolors é treinado no modelo InsightFace antelopev2 , você precisa baixá-lo manualmente e colocá-lo dentro do diretório models/inisghtface .
se você souber de outros modelos, por favor me avise e irei adicioná-los ao carregador unificado.
Existem muitos fluxos de trabalho incluídos no diretório de exemplos. Por favor, verifique-os antes de pedir suporte.
Normalmente é uma boa ideia diminuir o weight para pelo menos 0.8 e aumentar o número de passos. Para aumentar a adesão ao prompt, você pode tentar alterar o tipo de peso no nó IPAdapter Advanced .
Estou (lentamente) documentando todos os nós. Por favor, verifique a referência dos nós.
Verifique a solução de problemas antes de postar um novo problema. Lembre-se também de verificar os problemas encerrados anteriores.
