对 ComfyUI 的本机 SDXL-EcomID 支持。
此扩展不使用扩散器,而是本地实现 EcomID,并与 ComfyUI 完全集成。
EcomID 增强了肖像表示,提供更真实、更美观的外观,同时确保语义一致性和更大的内部 ID 相似性(即不随年龄、发型、眼镜或其他身体变化而变化的特征)。
您可以在 SDXL-EcomID 存储库中查看更多展示。
在examples
目录中,您将找到基本工作流程和专用的换脸工作流程。
升级ComfyUI到最新版本!
下载或git clone
此存储库到ComfyUI/custom_nodes/
目录中或使用管理器。
EcomID 需要insightface
,您需要将其与onnxruntime
和onnxruntime-gpu
一起添加到您的库中。
型号:
PuLID预训练模型位于ComfyUI/models/pulid/
(感谢Chenlei Hu将其转换为IPAdapter格式)
EVA CLIP是 EVA02-CLIP-L-14-336,但应该自动下载(将位于 Huggingface 目录中)。
需要安装facexlib
依赖,首次使用时下载模型
您还需要InsightFace和 AntelopeV2,解压后的模型应放置在ComfyUI/models/insightface/models/antelopev2
中
InstantID 的 ip_adapter 模型可以从 HuggingFace 下载,并应放置在ComfyUI/models/instantid
目录中。 (请注意,该模型称为ip_adapter ,因为它基于 IPAdapter)。
您还需要一个经过 200 万张真实人体图像训练的ControlNet 。请将其放置在 ComfyUI controlnet 目录中。
您可以随意生成各种分辨率的图像,因为我们已经使用 200 万张高质量图像训练了控制网络。
您可以设置更高的 CFG 值以实现更好的语义一致性。 1 到 7 之间的值是可接受的,建议使用 6。
人的姿势与参考图像生成的关键点对齐,就像在 InstantID 中一样。您可以通过将图像发送到image_kps输入来实现不同的姿势。
有一个 EcomID 高级节点可用,目前与标准节点的唯一区别是您可以分别设置 ip-adapter (PulID) 模型和 controlnet 的权重。
引用了以下存储库:ComfyUI_InstantID 和 PuLID_ComfyUI。
请记住,目前这仅与基于 SDXL 的模型兼容,例如 EcomXL、leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
它与 SDXL Turbo/Lighting、EcomXL-Inpainting-ControlNet 和 EcomXL-Softedge-ControlNet 配合得很好。
Multi-ControlNet的结果如下所示: