简体中文 (chinois simplifié)
Prise en charge native d'InstantID pour ComfyUI.
Cette extension diffère des nombreuses extensions déjà disponibles car elle n'utilise pas de diffuseurs mais implémente InstantID de manière native et s'intègre pleinement à ComfyUI.
Commanditaire GitHub | ? Paypal
Si vous aimez mon travail et souhaitez voir les mises à jour et les nouvelles fonctionnalités, pensez à parrainer mes projets.
ComfyUI IPAdapter Plus
ComfyUI InstantID (natif)
Les essentiels de ComfyUI
ComfyUI FaceAnalyse
Sans oublier la documentation et les tutoriels vidéos. Consultez mes vidéos ComfyUI Advanced Understanding sur YouTube, par exemple, partie 1 et partie 2
La seule façon de garder le code ouvert et gratuit est de parrainer son développement. Plus il y a de parrainages, plus je peux consacrer de temps à mes projets open source.
Veuillez envisager un parrainage Github ou un don PayPal (Matteo "matt3o" Spinelli). Pour les parrainages de 50 $ et plus, faites-moi savoir si vous souhaitez être mentionné dans ce fichier Lisez-moi, vous pouvez me trouver sur Discord ou matt3o gmail.com .
2024/02/27 : Ajout de l'injection de bruit dans les intégrations négatives.
2024/02/26 : Correction d’un petit mais méchant bug. Les résultats seront différents et vous devrez peut-être réduire le CFG.
20/02/2024 : J'ai refactorisé les nœuds pour qu'ils soient, je l'espère, plus faciles à utiliser. Il s'agit d'une mise à jour de rupture , les workflows précédents ne fonctionneront plus.
Dans le répertoire examples , vous trouverez quelques flux de travail de base.
** Introduction aux fonctionnalités d'InstantID**
Mettez à niveau ComfyUI vers la dernière version !
Téléchargez ou git clone ce référentiel dans le répertoire ComfyUI/custom_nodes/ ou utilisez le Manager.
InstantID nécessite insightface , vous devez l'ajouter à vos bibliothèques avec onnxruntime et onnxruntime-gpu .
Le modèle InsightFace est antelopev2 (pas le classique buffalo_l). Téléchargez les modèles (par exemple depuis ici ou ici), décompressez-les et placez-les dans le répertoire ComfyUI/models/insightface/models/antelopev2 .
Le modèle principal peut être téléchargé depuis HuggingFace et doit être placé dans le répertoire ComfyUI/models/instantid . (Notez que le modèle s'appelle ip_adapter car il est basé sur IPAdapter).
Vous avez également besoin d'un controlnet, placez-le dans le répertoire ComfyUI controlnet.
N'oubliez pas que pour le moment, ce n'est que pour SDXL.
Les données d'entraînement sont pleines de filigranes, pour éviter qu'ils n'apparaissent dans vos générations utilisez une résolution légèrement différente de 1024×1024 (ou les standards) par exemple 1016×1016 fonctionne plutôt bien.
Il est important de baisser le CFG à au moins 4/5 ou vous pouvez utiliser le nœud RescaleCFG .
La personne est posée en fonction des points clés générés à partir de l'image de référence. Vous pouvez utiliser une pose différente en envoyant une image à l'entrée image_kps .
L'implémentation par défaut d'InstantID semble vraiment graver l'image, je trouve qu'en injectant du bruit dans les intégrations négatives, nous pouvons atténuer l'effet et également augmenter la probabilité de la référence. Le nœud Apply InstantID par défaut injecte automatiquement 35 % de bruit. Si vous souhaitez affiner l'effet, vous pouvez utiliser le nœud Advanced InstantID.
Ceci est encore expérimental et pourrait changer à l’avenir.
Vous pouvez ajouter plus de réseaux de contrôle à la génération. Un exemple de flux de travail pour le contrôle de profondeur est fourni.
Il est possible de styliser la composition avec IPAdapter. Un exemple est fourni.
Le multi-ID est pris en charge mais le flux de travail est un peu compliqué et la génération plus lente. Je vais vérifier si je peux trouver une meilleure façon de procéder. Le workflow "hackish" est fourni dans le répertoire d'exemple.
Un nœud avancé InstantID est disponible, pour le moment, la seule différence avec le nœud standard est que vous pouvez définir les poids pour les modèles instantID et le controlnet séparément. Il inclut désormais également une option d’injection de bruit. Cela pourrait être utile pour un réglage fin.
Le modèle instantID influence la composition à hauteur d'environ 25%, le reste étant le controlnet.
Le bruit contribue à réduire l’effet « brûlure ».
Cela fonctionne très bien avec SDXL Turbo/Lighting. Meilleurs résultats avec les points de contrôle de la communauté.
Ce n'est que grâce à de généreux sponsors que toute la communauté peut profiter de logiciels ouverts et gratuits. Joignez-vous à moi pour remercier les entreprises et les individus suivants !
RunComfy (ComfyUI Cloud)
Øystein Ø. Olsen
Jack Gane
Nathan Shipley
Dkdnzia
Et tous mes sponsors publics et privés !
