简体中文 (chinês simplificado)
Suporte nativo de InstantID para ComfyUI.
Esta extensão difere das muitas já disponíveis porque não usa difusores , mas implementa o InstantID nativamente e se integra totalmente ao ComfyUI.
Patrocinador do Github | ? PayPal
Se você gosta do meu trabalho e deseja ver atualizações e novos recursos, considere patrocinar meus projetos.
Adaptador ComfyUI IP Plus
ComfyUI InstantID (nativo)
Fundamentos do ComfyUI
ComfyUI FaceAnálise
Sem falar na documentação e nos vídeos tutoriais. Verifique meus vídeos de ComfyUI Advanced Understanding no YouTube, por exemplo, parte 1 e parte 2
A única maneira de manter o código aberto e gratuito é patrocinando o seu desenvolvimento. Quanto mais patrocínios, mais tempo posso dedicar aos meus projetos de código aberto.
Por favor, considere um patrocínio do Github ou uma doação do PayPal (Matteo "matt3o" Spinelli). Para patrocínios acima de US$ 50, deixe-me saber se você gostaria de ser mencionado neste arquivo leia-me. Você pode me encontrar no Discord ou matt3o gmail.com .
27/02/2024: Adicionada injeção de ruído nas incorporações negativas.
26/02/2024: Corrigido um bug pequeno, mas desagradável. Os resultados serão diferentes e pode ser necessário diminuir o CFG.
20/02/2024: Refatorei os nós para que sejam mais fáceis de usar. Esta é uma atualização recente , os fluxos de trabalho anteriores não funcionarão mais.
No diretório examples você encontrará alguns fluxos de trabalho básicos.
**Introdução aos recursos do InstantID**
Atualize o ComfyUI para a versão mais recente!
Baixe ou git clone este repositório no diretório ComfyUI/custom_nodes/ ou use o Manager.
InstantID requer insightface , você precisa adicioná-lo às suas bibliotecas junto com onnxruntime e onnxruntime-gpu .
O modelo InsightFace é antelopev2 (não o clássico buffalo_l). Baixe os modelos (por exemplo aqui ou aqui), descompacte-os e coloque-os no diretório ComfyUI/models/insightface/models/antelopev2 .
O modelo principal pode ser baixado do HuggingFace e deve ser colocado no diretório ComfyUI/models/instantid . (Observe que o modelo é chamado ip_adapter porque é baseado no IPAdapter).
Você também precisa de uma controlnet, coloque-a no diretório controlnet do ComfyUI.
Lembre-se de que no momento isso é apenas para SDXL.
Os dados de treinamento estão cheios de marcas d’água, para evitar que apareçam em suas gerações use uma resolução um pouco diferente de 1024×1024 (ou das padrão) por exemplo 1016×1016 funciona muito bem.
É importante diminuir o CFG para pelo menos 4/5 ou você pode usar o nó RescaleCFG .
A pessoa é posicionada com base nos pontos-chave gerados a partir da imagem de referência. Você pode usar uma pose diferente enviando uma imagem para a entrada image_kps .
A implementação padrão do InstantID parece realmente queimar a imagem. Acho que, ao injetar ruído nas incorporações negativas, podemos mitigar o efeito e também aumentar a probabilidade da referência. O nó Apply InstantID padrão injeta automaticamente 35% de ruído. Se você quiser ajustar o efeito, poderá usar o nó Advanced InstantID.
Isso ainda é experimental e pode mudar no futuro.
Você pode adicionar mais redes de controle à geração. É fornecido um exemplo de fluxo de trabalho para rede de controle de profundidade.
É possível estilizar a composição com IPAdapter. Um exemplo é fornecido.
Multi-ID é suportado, mas o fluxo de trabalho é um pouco complicado e a geração mais lenta. Vou verificar se consigo encontrar uma maneira melhor de fazer isso. O fluxo de trabalho "hackish" é fornecido no diretório de exemplo.
Há um nó avançado InstantID disponível, no momento a única diferença com o padrão é que você pode definir os pesos para os modelos instantID e o controlnet separadamente. Agora também inclui uma opção de injeção de ruído. Pode ser útil para o ajuste fino.
O modelo instantID influencia a composição em cerca de 25%, o restante é a controlnet.
O ruído ajuda a reduzir o efeito de “queimadura”.
Funciona muito bem com SDXL Turbo/Lighting. Melhores resultados com pontos de verificação da comunidade.
É somente graças a patrocinadores generosos que toda a comunidade pode desfrutar de software aberto e livre. Junte-se a mim para agradecer às seguintes empresas e indivíduos!
RunComfy (nuvem ComfyUI)
Øystein Ø. Olsen
Jack Gane
Nathan Shipley
Dkdnzia
E todos os meus patrocinadores públicos e privados!
