ComfyUI PuLID Flux

PuLID-Flux para ComfyUI

Implementação PuLID-Flux ComfyUI (versão Alpha)

Atualizações de versão

• V0.1.0: Nó de trabalho com suporte de peso, start_at, end_at (attn_mask não funciona)

Notas

Este projeto foi fortemente inspirado em cubiq/PuLID_ComfyUI. É apenas um protótipo que usa alguns hacks de modelo convenientes para a seção do codificador. Queria testar a qualidade do modelo antes de reimplementá-lo de uma forma mais formal. Para melhores resultados, recomendo a versão do modelo 8bit GGUF 16bit ou 8 bits do Flux1-dev (o 8e5m2 retorna fundos desfocados). No diretório examples você encontrará alguns fluxos de trabalho básicos.

Modelos de fluxo suportados:

32 bits/16 bits (~22 GB VRAM): modelo, codificador

gguf de 8 bits (~ 12 GB VRAM): modelo, codificador

FP8 e5m2 de 8 bits (~12 GB VRAM): modelo, codificador

FP8 e4m3fn de 8 bits (~ 12 GB VRAM): modelo, codificador

Clip e VAE (para todos os modelos): clip, vae

Para modelos GGUF você precisará instalar o ComfyUI-GGUF

Instalação

• Instale este repositório em ComfyUI/custom_nodes

git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git

• Instale todos os pacotes listados no arquivo requirements.txt no ambiente Python onde você executa o ComfyUI. Prefiro não usar scripts de instalação automática, pois não gosto quando os scripts instalam software sem o meu conhecimento. ?

• Você precisa de um dos modelos Flux.1-dev mencionados. Baixe o modelo em ComfyUI/models/unet , clipe e codificador em ComfyUI/models/clip , VAE em ComfyUI/models/vae .

• O modelo pré-treinado PuLID Flux entra em ComfyUI/models/pulid/ .

• O EVA CLIP é EVA02-CLIP-L-14-336, deverá ser baixado automaticamente (estará localizado no diretório huggingface). Se por algum motivo o download automático falhar (e você obtiver face_análise.py, init assert 'detection' in self.models exception ), baixe este modelo EVA-CLIP manualmente, coloque o arquivo em seu ComfyUI/models/clip e reinicie o ComfyUI .

• A dependência facexlib precisa ser instalada, os modelos são baixados na primeira utilização.

• Finalmente você precisa do InsightFace com AntelopeV2, os modelos descompactados devem ser colocados em ComfyUI/models/insightface/models/antelopev2 .

Problemas conhecidos

• ApplyPulidFlux não funciona em HW com computação CUDA <v8.0, (quando Flux FP8 precisa de bfloat16).

• Quando o nó ApplyPulidFlux é desconectado após a primeira execução, o modelo Flux ainda é influenciado pelo nó.

• ApplyPulidFlux attn_mask não está funcionando (em andamento).

Créditos

ComfyUI/ComfyUI - Uma GUI de difusão estável, poderosa e modular.

PuLID for Flux - solução de personalização de ID sem ajuste para FLUX.1-dev

cubiq PuLID_ComfyUI - Implementação nativa do PuLID ComfyUI (Obrigado pelo trabalho incrível, o que você faz, Matteo?).