Native SDXL-EcomID-Unterstützung für ComfyUI.
Diese Erweiterung verwendet keine Diffusoren , sondern implementiert EcomID nativ und lässt sich vollständig in ComfyUI integrieren.
EcomID verbessert die Porträtdarstellung, sorgt für ein authentischeres und ästhetisch ansprechenderes Erscheinungsbild und sorgt gleichzeitig für semantische Konsistenz und eine größere interne ID-Ähnlichkeit (d. h. Merkmale, die sich nicht mit Alter, Frisur, Brille oder anderen körperlichen Veränderungen ändern).
Weitere Showcases finden Sie im SDXL-EcomID-Repository.
Im examples finden Sie sowohl den Basis-Workflow als auch den speziellen Face-Swapping-Workflow.
Aktualisieren Sie ComfyUI auf die neueste Version!
Laden Sie dieses Repository herunter oder git clone in das Verzeichnis ComfyUI/custom_nodes/ oder verwenden Sie den Manager.
Für EcomID ist insightface erforderlich. Sie müssen es zusammen mit onnxruntime und onnxruntime-gpu zu Ihren Bibliotheken hinzufügen.
Modelle:
Das vorab trainierte PuLID-Modell geht in ComfyUI/models/pulid/ (Danke an Chenlei Hu für die Konvertierung in das IPAdapter-Format)
Der EVA CLIP ist EVA02-CLIP-L-14-336, sollte aber automatisch heruntergeladen werden (befindet sich im Huggingface-Verzeichnis).
facexlib Abhängigkeit muss installiert sein, die Modelle werden bei der ersten Verwendung heruntergeladen
Sie benötigen außerdem InsightFace mit AntelopeV2, die entpackten Modelle sollten in ComfyUI/models/insightface/models/antelopev2 abgelegt werden
Das ip_adapter-Modell von InstantID kann von HuggingFace heruntergeladen werden und sollte im Verzeichnis ComfyUI/models/instantid abgelegt werden. (Beachten Sie, dass das Modell ip_adapter heißt, da es auf dem IPAdapter basiert).
Sie benötigen außerdem ein ControlNet, das auf 2 Millionen echten menschlichen Bildern trainiert ist. Bitte legen Sie es im ComfyUI-Controlnet-Verzeichnis ab.
Gerne können Sie Bilder in verschiedenen Auflösungen generieren, da wir das Controlnet auf 2 Millionen hochwertige Bilder trainiert haben.
Sie können einen höheren CFG-Wert festlegen, um eine noch bessere semantische Konsistenz zu erreichen. Werte von 1 bis 7 sind akzeptabel, wobei 6 empfohlen wird.
Die Pose der Person wird wie in InstantID an den aus dem Referenzbild generierten Schlüsselpunkten ausgerichtet. Sie können eine andere Pose erreichen, indem Sie ein Bild an den Eingang image_kps senden.
Es ist ein erweiterter EcomID-Knoten verfügbar. Der einzige Unterschied zum Standardknoten besteht derzeit darin, dass Sie die Gewichtungen für die IP-Adapter-Modelle (PulID) und das Kontrollnetz separat festlegen können.
Verweiste auf die folgenden Repositorys: ComfyUI_InstantID und PuLID_ComfyUI.
Denken Sie daran, dass dies derzeit nur mit SDXL-basierten Modellen wie EcomXL, leosams-helloworld-xl, dreamshaper-xl, Stable-Diffusion-XL-Base-1.0 usw. kompatibel ist.
Es funktioniert sehr gut mit SDXL Turbo/Lighting, EcomXL-Inpainting-ControlNet und EcomXL-Softedge-ControlNet.
Die Ergebnisse des Multi-ControlNet sind unten dargestellt:
