PuLID-Flux ComfyUI 구현(알파 버전)
V0.1.0: 가중치, start_at, end_at를 지원하는 작업 노드(attn_mask가 작동하지 않음)
이 프로젝트는 cubiq/PuLID_ComfyUI에서 많은 영감을 받았습니다. 이는 인코더 섹션에 몇 가지 편리한 모델 hacks
사용하는 프로토타입일 뿐입니다. 저는 모델을 좀 더 공식적인 방식으로 다시 구현하기 전에 모델의 품질을 테스트하고 싶었습니다. 더 나은 결과를 얻으려면 Flux1-dev의 16bit
또는 8bit GGUF
모델 버전을 권장합니다(8e5m2는 흐린 배경을 반환합니다). examples
디렉터리에서는 몇 가지 기본 작업 흐름을 찾을 수 있습니다.
GGUF 모델의 경우 ComfyUI-GGUF를 설치해야 합니다.
이 저장소를 ComfyUI/custom_nodes
에 설치하세요.
git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git
requirements.txt
파일에 나열된 모든 패키지를 ComfyUI를 실행하는 Python 환경에 설치합니다. 저는 자동 설치 스크립트를 사용하지 않는 것을 선호합니다. 왜냐하면 제가 모르는 사이에 스크립트가 소프트웨어를 설치하는 것을 싫어하기 때문입니다. ?
언급된 Flux.1-dev
모델 중 하나가 필요합니다. 모델을 ComfyUI/models/unet
, 클립 및 인코더를 ComfyUI/models/clip
, VAE를 ComfyUI/models/vae
에 다운로드합니다.
PuLID Flux 사전 훈련된 모델은 ComfyUI/models/pulid/
에 있습니다.
EVA CLIP은 EVA02-CLIP-L-14-336이며 자동으로 다운로드되어야 합니다(huggingface 디렉터리에 위치). 어떤 이유로 자동 다운로드가 실패하고(face_analytic.py가 발생하고 init가 self.models 예외에서 '감지'를 주장함 ) 이 EVA-CLIP 모델을 수동으로 다운로드하고 파일을 ComfyUI/models/clip
에 넣은 다음 ComfyUI를 다시 시작하세요. .
facexlib
종속성을 설치해야 하며 처음 사용할 때 모델이 다운로드됩니다.
마지막으로 AntelopeV2가 포함된 InsightFace가 필요합니다. 압축을 푼 모델은 ComfyUI/models/insightface/models/antelopev2
에 배치되어야 합니다.
ApplyPulidFlux는 CUDA 컴퓨팅이 v8.0 미만인 HW에서는 작동하지 않습니다(Flux FP8에는 bfloat16이 필요함).
ApplyPulidFlux 노드가 처음 실행된 후 연결이 끊어지면 Flux 모델은 여전히 노드의 영향을 받습니다.
ApplyPulidFlux attn_mask가 작동하지 않습니다(진행 중).
ComfyUI/ComfyUI - 강력하고 모듈식이며 안정적인 확산 GUI입니다.
Flux용 PuLID - FLUX.1-dev를 위한 조정이 필요 없는 ID 사용자 정의 솔루션
cubiq PuLID_ComfyUI - PuLID ComfyUI 기본 구현(Matteo를 수행하는 멋진 작업에 감사드립니다.)