Prise en charge native de SDXL-EcomID pour ComfyUI.
Cette extension n'utilise pas de diffuseurs mais implémente EcomID de manière native et s'intègre pleinement à ComfyUI.
EcomID améliore la représentation des portraits, offrant une apparence plus authentique et esthétique tout en garantissant une cohérence sémantique et une plus grande similarité d'identité interne (c'est-à-dire des traits qui ne varient pas avec l'âge, la coiffure, les lunettes ou d'autres changements physiques).
Vous pouvez voir plus de vitrines dans le référentiel SDXL-EcomID.
Dans le répertoire examples , vous trouverez à la fois le flux de travail de base et le flux de travail dédié à l'échange de visage.
Mettez à niveau ComfyUI vers la dernière version !
Téléchargez ou git clone ce référentiel dans le répertoire ComfyUI/custom_nodes/ ou utilisez le Manager.
EcomID nécessite insightface , vous devez l'ajouter à vos bibliothèques avec onnxruntime et onnxruntime-gpu .
Modèles :
Le modèle pré-entraîné PuLID va dans ComfyUI/models/pulid/ (merci à Chenlei Hu pour les avoir convertis au format IPAdapter)
L' EVA CLIP est EVA02-CLIP-L-14-336, mais doit être téléchargé automatiquement (sera situé dans le répertoire huggingface).
La dépendance facexlib doit être installée, les modèles sont téléchargés à la première utilisation
Vous avez également besoin d'InsightFace avec AntelopeV2, les modèles décompressés doivent être placés dans ComfyUI/models/insightface/models/antelopev2
Le modèle ip_adapter d'InstantID peut être téléchargé depuis HuggingFace et doit être placé dans le répertoire ComfyUI/models/instantid . (Notez que le modèle s'appelle ip_adapter car il est basé sur IPAdapter).
Vous avez également besoin d’un ControlNet formé sur 2 millions d’images humaines réelles. Veuillez le placer dans le répertoire ComfyUI controlnet.
N'hésitez pas à générer des images dans différentes résolutions, car nous avons formé le controlnet sur 2 millions d'images de haute qualité.
Vous pouvez définir une valeur CFG plus élevée pour obtenir une cohérence sémantique encore meilleure. Les valeurs de 1 à 7 sont acceptables, 6 étant recommandé.
La pose de la personne est alignée sur les points clés générés à partir de l'image de référence, tout comme dans InstantID. Vous pouvez obtenir une pose différente en envoyant une image à l'entrée image_kps .
Un nœud avancé EcomID est disponible, pour le moment, la seule différence avec le nœud standard est que vous pouvez définir les poids pour les modèles d'adaptateur IP (PulID) et le controlnet séparément.
Référencement des référentiels suivants : ComfyUI_InstantID et PuLID_ComfyUI.
N'oubliez pas que pour le moment, cela n'est compatible qu'avec les modèles basés sur SDXL, tels que EcomXL, leosams-helloworld-xl, dreamshaper-xl, stable-diffusion-xl-base-1.0, etc.
Cela fonctionne très bien avec SDXL Turbo/Lighting, EcomXL-Inpainting-ControlNet et EcomXL-Softedge-ControlNet.
Les résultats du Multi-ControlNet sont présentés ci-dessous :
