Implementación de referencia de ComfyUI para modelos IPAdapter.
Los IPAdapter son modelos muy potentes para el acondicionamiento de imagen a imagen. El tema o incluso simplemente el estilo de las imágenes de referencia se pueden transferir fácilmente a una generación. Piense en ello como una lora de 1 imagen.
Patrocinador de Github | PayPal
Si le gusta mi trabajo y desea ver actualizaciones y nuevas funciones, considere patrocinar mis proyectos.
Cómodo UI IPAdapter Plus
ComfyUI InstantID (nativo)
Conceptos básicos de ComfyUI
Análisis facial cómodo de UI
Por no hablar de la documentación y los vídeos tutoriales. Consulte mis videos de Comprensión avanzada de ComfyUI en YouTube, por ejemplo, parte 1 y parte 2
La única forma de mantener el código abierto y gratuito es patrocinando su desarrollo. Cuantos más patrocinios más tiempo puedo dedicar a mis proyectos de código abierto.
Considere un patrocinio de Github o una donación de PayPal (Matteo "matt3o" Spinelli). Para patrocinios de más de $50, avíseme si desea que lo mencionen en este archivo Léame. ¿Puede encontrarme en Discord o matt3o? gmail.com .
13/09/2024 : Se corrigió un error desagradable en el parche del bloque central que estamos implementando desde el principio. Desafortunadamente las imágenes generadas no serán exactamente las mismas que antes. De todos modos, el bloque central no tiene un gran impacto, por lo que no debería ser gran cosa. No afecta la transferencia de Estilo o Composición, solo las generaciones lineales. Generalmente no informo sobre correcciones de errores pequeños, pero éste puede causar resultados diferentes, así que pensé que vale la pena mencionarlo.
02/08/2024 : Soporte para Kolors FaceIDv2. Consulte el flujo de trabajo de ejemplo para conocer las mejores prácticas.
26/07/2024 : Se agregó soporte para lotes de imágenes y animaciones a ClipVision Enhancer.
18/07/2024 : Soporte para Kolors.
17/07/2024 : Se agregó el nodo experimental ClipVision Enhancer. De alguna manera se inspiró en el documento Scaling on Scales, pero la implementación es un poco diferente. El nuevo IPAdapterClipVisionEnhancer intenta captar pequeños detalles colocando las incrustaciones en mosaico (en lugar de la imagen en el espacio de píxeles), el resultado es una incrustación visual de resolución ligeramente mayor sin costo de rendimiento.
11/07/2024 : Se agregó transferencia experimental de composición (diseño) precisa. No es tan bueno como el estilo. embeds_scaling tiene un gran impacto. Comience con fuerza 0,8 y aumente 0,3 en SDXL y 0,6 aumente 0,35 en SD1.5.
28/06/2024 : Se agregó el nodo IPAdapter Precise Style Transfer . Aumente la opción style_boost para reducir el sangrado de la capa de composición. Importante: funciona mejor en SDXL, comience con un style_boost de 2; para SD1.5 intente aumentar el peso un poco por encima de 1.0 y establezca style_boost en un valor entre -1 y +1, comenzando con 0.
22/06/2024 : Se agregó style transfer precise , ofrece menos sangrado de las incrustaciones entre las capas de estilo y composición. A veces es mejor que la transferencia de estilo estándar, especialmente si la imagen de referencia es muy diferente de la imagen generada. Funciona mejor en SDXL que SD1.5.
21/05/2024 : Asignación de memoria mejorada cuando encode_batch_size . Útil sobre todo para animaciones muy largas.
02/05/2024 : Agregue encode_batch_size al nodo de lote avanzado. Esto puede resultar útil para animaciones con muchos fotogramas para reducir el uso de VRAM durante la codificación de la imagen. Tenga en cuenta que los resultados serán ligeramente diferentes según el tamaño del lote.
27/04/2024 : Refactorizado IPAdapterWeights, principalmente útil para animaciones AnimateDiff.
21/04/2024 : Se agregaron nodos de acondicionamiento regional para simplificar el enmascaramiento de atención y el acondicionamiento de texto enmascarado.
16/04/2024 : Se agregó soporte para el nuevo modelo SDXL vertical no normal (enlace a continuación). Es muy fuerte y tiende a ignorar el condicionamiento del texto. Baje el CFG a 3-4 o use un nodo RescaleCFG.
(Las actualizaciones anteriores se eliminaron para facilitar la lectura)
El directorio de ejemplos tiene muchos flujos de trabajo que cubren todas las funcionalidades de IPAdapter.
Nuevas funciones del Adaptador IP
Estilo y composición del IPAdapter
Los siguientes videos son sobre la versión anterior de IPAdapter, pero aún contienen información valiosa.
Vídeo de uso básico, ? Vídeo de funciones avanzadas, ? Atención Vídeo de enmascaramiento, ? Vídeo de características de animación
Descargue o clone este repositorio dentro del directorio ComfyUI/custom_nodes/ o use el Administrador. IPAdapter siempre requiere la última versión de ComfyUI. Si algo no funciona, asegúrese de actualizar. Tenga en cuenta que la actualización automática del administrador a veces no funciona y es posible que deba actualizar manualmente.
Ahora hay un Cargador de modelos unificado ; para que funcione, debe nombrar los archivos exactamente como se describe a continuación. Los cargadores heredados funcionan con cualquier nombre de archivo, pero hay que seleccionarlos manualmente. Los modelos se pueden colocar en subdirectorios.
Recuerde que también puede usar cualquier ubicación personalizada configurando una entrada ipadapter en el archivo extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, descargar y cambiar el nombre
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, descargar y cambiar el nombre
clip-vit-large-patch14-336.bin, descargar y cambiar el nombre solo para los modelos Kolors
/ComfyUI/models/ipadapter , créelo si no está presente
ip-adapter_sd15.safetensors, modelo básico, resistencia media
ip-adapter_sd15_light_v11.bin, modelo de impacto de luz
ip-adapter-plus_sd15.safetensors, modelo Plus, muy resistente
ip-adapter-plus-face_sd15.safetensors, modelo de rostro, retratos
ip-adapter-full-face_sd15.safetensors, modelo de rostro más fuerte, no necesariamente mejor
ip-adapter_sd15_vit-G.safetensors, modelo base, requiere codificador de visión de clip bigG
ip-adapter_sdxl_vit-h.safetensors, modelo SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, modelo SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, modelo de cara SDXL
ip-adapter_sdxl.safetensors, modelo vit-G SDXL, requiere codificador de visión de clip bigG
Obsoleto ip-adapter_sd15_light.safetensors, v1.0 Modelo de impacto ligero
Los modelos FaceID requieren insightface , debe instalarlo en su entorno ComfyUI. Consulte este problema para obtener ayuda. Recuerda que la mayoría de los modelos FaceID también necesitan un LoRA.
Para que Unified Loader funcione, los archivos deben tener nombres exactamente como se muestra en la lista siguiente.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, modelo base de FaceID
adaptador-ip-faceid-plusv2_sd15.bin, FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin, transferencia de estilo de mensaje de texto para retratos
ip-adapter-faceid_sdxl.bin, FaceID base SDXL
adaptador-ip-faceid-plusv2_sdxl.bin, SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin, transferencia de estilo de mensaje de texto SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin, transferencia de estilo muy fuerte solo SDXL
ip-adapter-faceid-plus_sd15.bin, FaceID plus v1 en desuso
ip-adapter-faceid-portrait_sd15.bin, v1 del modelo vertical en desuso
La mayoría de los modelos FaceID requieren LoRA. Si utiliza IPAdapter Unified Loader FaceID se cargará automáticamente si sigue la convención de nomenclatura. De lo contrario, tendrás que cargarlos manualmente; ten cuidado, cada modelo de FaceID debe estar emparejado con su propio LoRA específico.
/ComfyUI/models/loras
adaptador-ip-faceid_sd15_lora.safetensors
adaptador-ip-faceid-plusv2_sd15_lora.safetensors
adaptador-ip-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
adaptador-ip-faceid-plusv2_sdxl_lora.safetensors, SDXL plus v2 LoRA
ip-adapter-faceid-plus_sd15_lora.safetensors obsoleto , LoRA para el modelo FaceID plus v1 obsoleto
Todos los modelos se pueden encontrar en huggingface.
La comunidad ha creado algunos modelos interesantes de IPAdapter.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, composición general ignorando el estilo y el contenido, más información aquí
ip_plus_composition_sdxl.safetensors, versión SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus para el modelo Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 para el modelo Kolors. Nota: Kolors está capacitado en el modelo InsightFace antílopev2 , debe descargarlo manualmente y colocarlo dentro del directorio models/inisghtface .
Si conoce otros modelos, hágamelo saber y los agregaré al cargador unificado.
Hay muchos flujos de trabajo incluidos en el directorio de ejemplos. Por favor, compruébalos antes de solicitar asistencia.
Por lo general, es una buena idea reducir el weight al menos a 0.8 y aumentar el número de pasos. Para aumentar el cumplimiento del mensaje, puede intentar cambiar el tipo de peso en el nodo IPAdapter Advanced .
Estoy (lentamente) documentando todos los nodos. Por favor consulte la referencia de Nodos.
Verifique la solución de problemas antes de publicar un nuevo problema. Recuerde también consultar los números cerrados anteriores.
