Implémentation de référence ComfyUI pour les modèles IPAdapter.
Les IPAdapter sont des modèles très puissants pour le conditionnement image à image. Le sujet ou même simplement le style de la ou des images de référence peuvent être facilement transférés à une génération. Considérez-le comme une lora à 1 image.
Commanditaire GitHub | Paypal
Si vous aimez mon travail et souhaitez voir les mises à jour et les nouvelles fonctionnalités, pensez à parrainer mes projets.
ComfyUI IPAdapter Plus
ComfyUI InstantID (natif)
Les essentiels de ComfyUI
ComfyUI FaceAnalyse
Sans oublier la documentation et les tutoriels vidéos. Consultez mes vidéos ComfyUI Advanced Understanding sur YouTube, par exemple, partie 1 et partie 2
La seule façon de garder le code ouvert et gratuit est de parrainer son développement. Plus il y a de parrainages, plus je peux consacrer de temps à mes projets open source.
Veuillez envisager un parrainage Github ou un don PayPal (Matteo "matt3o" Spinelli). Pour les parrainages de 50$+, faites-moi savoir si vous souhaitez être mentionné dans ce fichier Lisez-moi, vous pouvez me trouver sur Discord ou matt3o ? gmail.com .
13/09/2024 : Correction d'un vilain bug dans le patch du bloc central que nous transportons depuis le début. Malheureusement, les images générées ne seront pas exactement les mêmes qu'avant. Quoi qu'il en soit, le bloc du milieu n'a pas un impact énorme, donc cela ne devrait pas être un gros problème. Cela n’impacte pas le transfert de style ou de composition, uniquement les générations linéaires. Je ne fais généralement pas rapport sur les petites corrections de bugs, mais celle-ci peut entraîner des résultats différents, j'ai donc pensé que cela valait la peine de le mentionner.
02/08/2024 : Prise en charge de Kolors FaceIDv2. Veuillez consulter l'exemple de flux de travail pour connaître les meilleures pratiques.
2024/07/26 : Ajout de la prise en charge des lots d'images et de l'animation dans ClipVision Enhancer.
18/07/2024 : Prise en charge de Kolors.
2024/07/17 : Ajout du nœud expérimental ClipVision Enhancer. Il a été en quelque sorte inspiré du document Scaling on Scales, mais la mise en œuvre est un peu différente. Le nouveau IPAdapterClipVisionEnhancer tente de capturer de petits détails en mosaïque les intégrations (au lieu de l'image dans l'espace des pixels), le résultat est une intégration visuelle de résolution légèrement supérieure sans coût de performance.
2024/07/11 : Ajout du transfert expérimental de composition précise (mise en page). Ce n'est pas aussi bon que le style. embeds_scaling a un impact énorme. Commencez avec une force de 0,8 et augmentez de 0,3 en SDXL et 0,6 augmentez de 0,35 en SD1.5.
2024/06/28 : Ajout du nœud IPAdapter Precise Style Transfer . Augmentez l'option style_boost pour réduire le saignement du calque de composition. Important : fonctionne mieux en SDXL, commencez avec un style_boost de 2 ; pour SD1.5, essayez d'augmenter le poids un peu plus de 1,0 et définissez style_boost sur une valeur comprise entre -1 et +1, en commençant par 0.
2024/06/22 : Ajout d' style transfer precise , offre moins de saignements des intégrations entre les calques de style et de composition. C'est parfois mieux que le transfert de style standard surtout si l'image de référence est très différente de l'image générée. Fonctionne mieux en SDXL qu'en SD1.5.
2024/05/21 : Amélioration de l'allocation de mémoire lorsque encode_batch_size . Utile surtout pour les très longues animations.
02/05/2024 : Ajoutez encode_batch_size au nœud Advanced batch. Cela peut être utile pour les animations comportant beaucoup d'images afin de réduire l'utilisation de la VRAM lors de l'encodage de l'image. Veuillez noter que les résultats seront légèrement différents en fonction de la taille du lot.
2024/04/27 : Refactorisation des IPAdapterWeights principalement utiles pour les animations AnimateDiff.
2024/04/21 : Ajout de nœuds de conditionnement régional pour simplifier le masquage d'attention et le conditionnement de texte masqué.
16/04/2024 : Ajout de la prise en charge du nouveau modèle SDXL portrait unnorm (lien ci-dessous). C'est très fort et a tendance à ignorer le conditionnement du texte. Réduisez le CFG à 3-4 ou utilisez un nœud RescaleCFG.
(Anciennes mises à jour supprimées pour plus de lisibilité)
Le répertoire d'exemples contient de nombreux flux de travail qui couvrent toutes les fonctionnalités d'IPAdapter.
Nouvelles fonctionnalités de l'IPAdapter
Style et composition de l'adaptateur IP
Les vidéos suivantes concernent la version précédente d'IPAdapter, mais elles contiennent toujours des informations précieuses.
Vidéo d'utilisation de base, ? Vidéo sur les fonctionnalités avancées, ? Attention vidéo de masquage, ? Vidéo sur les fonctionnalités d'animation
Téléchargez ou clonez git ce référentiel dans le répertoire ComfyUI/custom_nodes/ ou utilisez le Manager. IPAdapter nécessite toujours la dernière version de ComfyUI. Si quelque chose ne fonctionne pas, assurez-vous de mettre à niveau. Attention, la mise à jour automatique du gestionnaire ne fonctionne parfois pas et vous devrez peut-être effectuer une mise à niveau manuelle.
Il existe désormais un chargeur de modèle unifié . Pour qu'il fonctionne, vous devez nommer les fichiers exactement comme décrit ci-dessous. Les anciens chargeurs fonctionnent avec n'importe quel nom de fichier, mais vous devez les sélectionner manuellement. Les modèles peuvent être placés dans des sous-répertoires.
N'oubliez pas que vous pouvez également utiliser n'importe quel emplacement personnalisé en définissant une entrée ipadapter dans le fichier extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, télécharger et renommer
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, télécharger et renommer
clip-vit-large-patch14-336.bin, télécharger et renommer uniquement pour les modèles Kolors
/ComfyUI/models/ipadapter , créez-le s'il n'est pas présent
ip-adapter_sd15.safetensors, modèle de base, résistance moyenne
ip-adapter_sd15_light_v11.bin, modèle d'impact léger
ip-adapter-plus_sd15.safetensors, modèle Plus, très résistant
ip-adapter-plus-face_sd15.safetensors, modèle de visage, portraits
ip-adapter-full-face_sd15.safetensors, modèle de visage plus fort, pas nécessairement meilleur
ip-adapter_sd15_vit-G.safetensors, modèle de base, nécessite un encodeur bigG clip vision
ip-adapter_sdxl_vit-h.safetensors, modèle SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, modèle SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, modèle de visage SDXL
ip-adapter_sdxl.safetensors, modèle vit-G SDXL, nécessite un encodeur bigG clip vision
ip-adapter_sd15_light.safetensors obsolète , modèle d'impact léger v1.0
Les modèles FaceID nécessitent insightface , vous devez l'installer dans votre environnement ComfyUI. Vérifiez ce problème pour obtenir de l'aide. N'oubliez pas que la plupart des modèles FaceID ont également besoin d'une LoRA.
Pour qu'Unified Loader fonctionne, les fichiers doivent être nommés exactement comme indiqué dans la liste ci-dessous.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, modèle FaceID de base
ip-adapter-faceid-plusv2_sd15.bin, FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin, transfert de style d'invite de texte pour les portraits
ip-adapter-faceid_sdxl.bin, FaceID de base SDXL
adaptateur-ip-faceid-plusv2_sdxl.bin, SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin, transfert de style d'invite de texte SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin, transfert de style très fort SDXL uniquement
ip-adapter-faceid-plus_sd15.bin obsolète , FaceID plus v1
ip-adapter-faceid-portrait_sd15.bin obsolète , v1 du modèle portrait
La plupart des modèles FaceID nécessitent une LoRA. Si vous utilisez IPAdapter Unified Loader FaceID il sera chargé automatiquement si vous suivez la convention de dénomination. Sinon il faut les charger manuellement, attention chaque modèle FaceID doit être associé à sa propre LoRA spécifique.
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL plus v2 LoRA
ip-adapter-faceid-plus_sd15_lora.safetensors, LoRA obsolète pour le modèle FaceID plus v1 obsolète
Tous les modèles peuvent être trouvés sur huggingface.
La communauté a créé des modèles IPAdapter intéressants.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, composition générale ignorant le style et le contenu, plus d'informations ici
ip_plus_composition_sdxl.safetensors, version SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus pour le modèle Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 pour le modèle Kolors. Remarque : Kolors est formé sur le modèle InsightFace antelopev2 , vous devez le télécharger manuellement et le placer dans le répertoire models/inisghtface .
si vous connaissez d'autres modèles, faites-le moi savoir et je les ajouterai au chargeur unifié.
De nombreux flux de travail sont inclus dans le répertoire d'exemples. Veuillez les vérifier avant de demander de l'aide.
C'est généralement une bonne idée de réduire le weight à au moins 0.8 et d'augmenter le nombre de pas. Pour accroître le respect de l'invite, vous pouvez essayer de modifier le type de poids dans le nœud IPAdapter Advanced .
Je documente (lentement) tous les nœuds. Veuillez vérifier la référence des nœuds.
Veuillez vérifier le dépannage avant de publier un nouveau problème. Pensez également à vérifier les précédents problèmes résolus.
