PuLID-Flux für ComfyUI

PuLID-Flux ComfyUI-Implementierung (Alpha-Version)

Versionsaktualisierungen

V0.1.0: Funktionierender Knoten mit Gewichtung, start_at, end_at-Unterstützung (attn_mask funktioniert nicht)

Notizen

Dieses Projekt wurde stark von cubiq/PuLID_ComfyUI inspiriert. Es handelt sich lediglich um einen Prototyp, der einige praktische Modell- hacks für den Encoder-Bereich verwendet. Ich wollte die Qualität des Modells testen, bevor ich es auf formellere Weise neu implementierte. Für bessere Ergebnisse empfehle ich die 16bit oder 8bit GGUF Modellversion von Flux1-dev (8e5m2 liefert verschwommene Hintergründe). Im examples finden Sie einige grundlegende Arbeitsabläufe.

Unterstützte Flux-Modelle:

32bit/16bit (~22GB VRAM): Modell, Encoder

8bit gguf (~12GB VRAM): Modell, Encoder

8 Bit FP8 e5m2 (~12 GB VRAM): Modell, Encoder

8 Bit FP8 e4m3fn (~12 GB VRAM): Modell, Encoder

Clip und VAE (für alle Modelle): Clip, Vae

Für GGUF-Modelle müssen Sie ComfyUI-GGUF installieren

Installation

Installieren Sie dieses Repo in ComfyUI/custom_nodes

git clone https://github.com/balazik/ComfyUI-PuLID-Flux.git

Installieren Sie alle in der Datei requirements.txt aufgeführten Pakete in der Python-Umgebung, in der Sie ComfyUI ausführen. Ich ziehe es vor, keine automatischen Installationsskripte zu verwenden, da ich es nicht mag, wenn Skripte Software ohne mein Wissen installieren. ?
Sie benötigen eines der genannten Flux.1-dev Modelle. Laden Sie das Modell in ComfyUI/models/unet herunter, Clip und Encoder in ComfyUI/models/clip , VAE in ComfyUI/models/vae .
Das vorab trainierte PuLID Flux-Modell geht in ComfyUI/models/pulid/ .
Der EVA CLIP ist EVA02-CLIP-L-14-336 und sollte automatisch heruntergeladen werden (befindet sich im Huggingface-Verzeichnis). Wenn der automatische Download aus irgendeinem Grund fehlschlägt (und Sie face_analysis.py erhalten, init Assertion 'Erkennung' in self.models Ausnahme ), laden Sie dieses EVA-CLIP-Modell manuell herunter, legen Sie die Datei in Ihrem ComfyUI/models/clip ab und starten Sie ComfyUI neu .
facexlib Abhängigkeit muss installiert sein, die Modelle werden bei der ersten Verwendung heruntergeladen.
Schließlich benötigen Sie InsightFace mit AntelopeV2, die entpackten Modelle sollten in ComfyUI/models/insightface/models/antelopev2 abgelegt werden.

Bekannte Probleme

ApplyPulidFlux funktioniert nicht auf HW mit CUDA-Compute < v8.0 (bei Flux FP8 ist bfloat16 erforderlich).
Wenn der ApplyPulidFlux-Knoten nach der ersten Ausführung getrennt wird, wird das Flux-Modell weiterhin vom Knoten beeinflusst.
ApplyPulidFlux attn_mask funktioniert nicht (in Bearbeitung).