IPAdapter 模型的 ComfyUI 参考实现。
IPAdapter 是非常强大的图像到图像调节模型。主题甚至只是参考图像的风格都可以轻松地传递给一代人。将其视为单幅图像 lora。
Github 赞助商 |贝宝
如果您喜欢我的工作并希望看到更新和新功能，请考虑赞助我的项目。
ComfyUI IPAdapter Plus
ComfyUI InstantID（本机）
ComfyUI 要点
ComfyUI人脸分析
更不用说文档和视频教程了。查看 YouTube 上我的ComfyUI 高级理解视频，例如第 1 部分和第 2 部分
保持代码开放和免费的唯一方法是赞助其开发。赞助越多，我就能将更多的时间投入到我的开源项目中。
请考虑 Github 赞助或 PayPal 捐赠（Matteo“matt3o”Spinelli）。对于 50 美元以上的赞助，如果您想在本自述文件中提及，请告诉我，您可以在 Discord 或matt3o 上找到我？ gmail.com 。
2024/09/13 ：修复了我们从一开始就携带的中间块修补中的一个令人讨厌的错误。不幸的是，生成的图像与以前不完全相同。无论如何，中间的块不会产生太大的影响，所以应该没什么大不了的。它不会影响风格或构图迁移，只会影响线性生成。我通常不会报告小错误修复，但这可能会导致不同的结果，所以我认为值得一提。
2024/08/02 : 支持 Kolors FaceIDv2。请检查示例工作流程以了解最佳实践。
2024/07/26 ：向 ClipVision 增强器添加了对图像批处理和动画的支持。
2024/07/18 ：支持 Kolors。
2024/07/17 ：添加了实验性 ClipVision Enhancer 节点。它在某种程度上受到了 Scaling on Scales 论文的启发，但实现有点不同。新的 IPAdapterClipVisionEnhancer 尝试通过平铺嵌入（而不是像素空间中的图像）来捕获小细节，结果是分辨率稍高的视觉嵌入，且不影响性能。
2024/07/11 ：添加实验性精确构图（布局）传输。它不如风格。 embeds_scaling有巨大的影响。从强度 0.8 开始，SDXL 中强度增加 0.3，SD1.5 中强度 0.6 增强 0.35。
2024/06/28 ：添加了IPAdapter Precise Style Transfer节点。增加style_boost选项以降低合成层的渗色。重要提示：在 SDXL 中效果更好，从 style_boost 为 2 开始；对于 SD1.5，尝试将权重增加到 1.0 以上，并将 style_boost 设置为 -1 到 +1 之间的值，从 0 开始。
2024/06/22 ：添加了style transfer precise ，减少了风格层和合成层之间嵌入的流失。有时它比标准风格迁移更好，特别是当参考图像与生成的图像非常不同时。在 SDXL 中比 SD1.5 效果更好。
2024/05/21 ：改进了encode_batch_size时的内存分配。主要用于很长的动画。
2024/05/02 : 将encode_batch_size添加到高级批处理节点。这对于具有大量帧的动画非常有用，可以减少图像编码过程中 VRAM 的使用。请注意，根据批量大小，结果会略有不同。
2024/04/27 ：重构了对 AnimateDiff 动画最有用的 IPAdapterWeights。
2024/04/21 ：添加了区域调节节点以简化注意力屏蔽和屏蔽文本调节。
2024/04/16 ：添加了对新的 SDXL 肖像非规范模型的支持（链接如下）。它非常强大并且往往会忽略文本调节。将 CFG 降低到 3-4 或使用 RescaleCFG 节点。
（为了便于阅读，删除了较旧的更新）
示例目录有许多涵盖所有 IPAdapter 功能的工作流程。
新的 IPAdapter 功能
IPAdapter 样式和组成
以下视频是关于 IPAdapter 的早期版本，但它们仍然包含有价值的信息。
基本使用视频，？高级功能视频，？注意屏蔽视频，？动画专题视频
下载或 git 克隆此存储库到ComfyUI/custom_nodes/目录中或使用管理器。 IPAdapter 始终需要最新版本的 ComfyUI。如果某些功能不起作用，请务必升级。请注意，管理器的自动更新有时不起作用，您可能需要手动升级。
现在有一个统一模型加载器，为了让它工作，您需要完全按照下面的描述命名文件。旧版加载程序可以使用任何文件名，但您必须手动选择它们。模型可以放入子目录中。
请记住，您还可以使用任何自定义位置在extra_model_paths.yaml文件中设置ipadapter条目。
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名
Clip-vit-large-patch14-336.bin，仅针对 Kolors 型号下载并重命名
/ComfyUI/models/ipadapter ，如果不存在则创建它
ip-adapter_sd15.safetensors，基本模型，平均强度
ip-adapter_sd15_light_v11.bin，轻型影响模型
ip-adapter-plus_sd15.safetensors，Plus模型，非常强大
ip-adapter-plus-face_sd15.safetensors，脸部模型，肖像
ip-adapter-full-face_sd15.safetensors，更强的人脸模型，不一定更好
ip-adapter_sd15_vit-G.safetensors，基础模型，需要 bigG 剪辑视觉编码器
ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 型号
ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 人脸模型
ip-adapter_sdxl.safetensors，vit-G SDXL 模型，需要 bigG 剪辑视觉编码器
已弃用ip-adapter_sd15_light.safetensors，v1.0 轻型影响模型
FaceID模型需要insightface ，您需要将其安装在 ComfyUI 环境中。检查此问题寻求帮助。请记住，大多数 FaceID 模型还需要 LoRA。
为了使统一加载程序正常工作，文件的名称必须完全按照下面的列表所示。
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin，基本 FaceID 模型
ip-adapter-faceid-plusv2_sd15.bin，FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin，人像文字提示风格转换
ip-adapter-faceid_sdxl.bin，SDXL 基本 FaceID
ip-adapter-faceid-plusv2_sdxl.bin，SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin，SDXL文本提示样式传输
ip-adapter-faceid-portrait_sdxl_unnorm.bin，非常强的风格仅传输SDXL
已弃用ip-adapter-faceid-plus_sd15.bin、FaceID plus v1
已弃用肖像模型 v1 的 ip-adapter-faceid-portrait_sd15.bin
大多数 FaceID 型号都需要 LoRA。如果您使用IPAdapter Unified Loader FaceID并且遵循命名约定，它将自动加载。否则，您必须手动加载它们，请注意每个 FaceID 模型都必须与其自己特定的 LoRA 配对。
/ComfyUI/models/loras
ip-适配器-faceid_sd15_lora.safetensors
ip-适配器-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors，SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL 加 v2 LoRA
已弃用ip-adapter-faceid-plus_sd15_lora.safetensors，LoRA 用于已弃用的 FaceID plus v1 模型
所有模型都可以在huggingface 上找到。
社区已经烘焙了一些有趣的 IPAdapter 模型。
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors，忽略样式和内容的一般组合，更多信息请参见此处
ip_plus_composition_sdxl.safetensors，SDXL 版本
Kolors-IP-Adapter-Plus.bin，Kolors 型号的 IPAdapter Plus
Kolors-IP-Adapter-FaceID-Plus.bin，Kolors 型号的 IPAdapter FaceIDv2。注意： Kolors 是在 InsightFace antelopev2模型上训练的，您需要手动下载它并将其放在models/inisghtface目录中。
如果您知道其他型号，请告诉我，我会将它们添加到统一加载程序中。
示例目录中包含许多工作流程。请在寻求支持之前检查它们。
通常最好将weight降低到至少0.8并增加步数。为了提高对提示的遵守程度，您可以尝试更改IPAdapter Advanced节点中的权重类型。
我正在（慢慢地）记录所有节点。请检查节点参考。
在发布新问题之前，请检查故障排除。还要记得检查之前已关闭的问题。
