PuLID-Flux para ComfyUI

Implementación de PuLID-Flux ComfyUI (versión Alpha)

Actualizaciones de versión

V0.1.0: Nodo de trabajo con soporte de peso, start_at, end_at (attn_mask no funciona)

Notas

Este proyecto se inspiró en gran medida en cubiq/PuLID_ComfyUI. Es solo un prototipo que utiliza algunos hacks de modelos convenientes para la sección del codificador. Quería probar la calidad del modelo antes de volver a implementarlo de una manera más formal. Para obtener mejores resultados, recomiendo la versión modelo 8bit GGUF de 16bit u 8 bits de Flux1-dev (el 8e5m2 devuelve fondos borrosos). En el directorio de examples encontrará algunos flujos de trabajo básicos.

Modelos de flujo compatibles:

32 bits/16 bits (~22 GB VRAM): modelo, codificador

gguf de 8 bits (~12 GB de VRAM): modelo, codificador

FP8 e5m2 de 8 bits (~12 GB VRAM): modelo, codificador

FP8 e4m3fn de 8 bits (~12 GB de VRAM): modelo, codificador

Clip y VAE (para todos los modelos): clip, vae

Para los modelos GGUF necesitarás instalar ComfyUI-GGUF

Instalación

Instale este repositorio en ComfyUI/custom_nodes

git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git

Instale todos los paquetes enumerados en el archivo requirements.txt en el entorno Python donde ejecuta ComfyUI. Prefiero no utilizar scripts de instalación automática, ya que no me gusta que los scripts instalen software sin mi conocimiento. ?
Necesita uno de los modelos Flux.1-dev mencionados. Descargue el modelo en ComfyUI/models/unet , clip y codificador en ComfyUI/models/clip , VAE en ComfyUI/models/vae .
El modelo preentrenado de PuLID Flux va en ComfyUI/models/pulid/ .
El EVA CLIP es EVA02-CLIP-L-14-336, debe descargarse automáticamente (se ubicará en el directorio de huggingface). Si por alguna razón la descarga automática falla (y obtienes face_analysis.py, init afirmar 'detección' en la excepción self.models ), descarga este modelo EVA-CLIP manualmente, coloca el archivo en tu ComfyUI/models/clip y reinicia ComfyUI .
Es necesario instalar la dependencia facexlib , los modelos se descargan la primera vez que se usan.
Finalmente necesitas InsightFace con AntelopeV2, los modelos descomprimidos deben colocarse en ComfyUI/models/insightface/models/antelopev2 .

Problemas conocidos

ApplyPulidFlux no funciona en HW con computación CUDA
Cuando el nodo ApplyPulidFlux se desconecta después de la primera ejecución, el nodo aún influye en el modelo Flux.
ApplyPulidFlux attn_mask no funciona (en progreso).