Suporte nativo SDXL-EcomID para ComfyUI.
Esta extensão não usa difusores , mas implementa o EcomID nativamente e se integra totalmente ao ComfyUI.
O EcomID aprimora a representação de retratos, proporcionando uma aparência mais autêntica e esteticamente agradável, garantindo consistência semântica e maior similaridade interna de identificação (ou seja, características que não variam com a idade, penteado, óculos ou outras mudanças físicas).
Você pode ver mais vitrines no repositório SDXL-EcomID.
No diretório examples , você encontrará o fluxo de trabalho básico e o fluxo de trabalho dedicado de troca de rosto.
Atualize o ComfyUI para a versão mais recente!
Baixe ou git clone este repositório no diretório ComfyUI/custom_nodes/ ou use o Manager.
EcomID requer insightface , você precisa adicioná-lo às suas bibliotecas junto com onnxruntime e onnxruntime-gpu .
Modelos:
O modelo pré-treinado PuLID entra em ComfyUI/models/pulid/ (obrigado a Chenlei Hu por convertê-los para o formato IPAdapter)
O EVA CLIP é EVA02-CLIP-L-14-336, mas deverá ser baixado automaticamente (estará localizado no diretório huggingface).
a dependência facexlib precisa ser instalada, os modelos são baixados no primeiro uso
Você também precisa do InsightFace com AntelopeV2, os modelos descompactados devem ser colocados em ComfyUI/models/insightface/models/antelopev2
O modelo ip_adapter do InstantID pode ser baixado do HuggingFace e deve ser colocado no diretório ComfyUI/models/instantid . (Observe que o modelo é chamado ip_adapter porque é baseado no IPAdapter).
Você também precisa de um ControlNet treinado em imagens humanas reais de 2 milhões. Coloque-o no diretório controlnet do ComfyUI.
Fique à vontade para gerar imagens em diversas resoluções, pois treinamos a rede de controle em 2 milhões de imagens de alta qualidade.
Você pode definir um valor CFG mais alto para obter consistência semântica ainda melhor. Valores de 1 a 7 são aceitáveis, sendo 6 recomendado.
A pose da pessoa está alinhada com os pontos-chave gerados a partir da imagem de referência, assim como no InstantID. Você pode conseguir uma pose diferente enviando uma imagem para a entrada image_kps .
Existe um nó avançado EcomID disponível, no momento a única diferença com o padrão é que você pode definir os pesos para os modelos de adaptador ip (PulID) e o controlnet separadamente.
Referenciou os seguintes repositórios: ComfyUI_InstantID e PuLID_ComfyUI.
Lembre-se de que no momento isso só é compatível com modelos baseados em SDXL, como EcomXL, leosams-helloworld-xl, dreamshaper-xl, stable-diffusion-xl-base-1.0 e assim por diante.
Funciona muito bem com SDXL Turbo/Lighting, EcomXL-Inpainting-ControlNet e EcomXL-Softedge-ControlNet.
Os resultados do Multi-ControlNet são mostrados abaixo:
