對 ComfyUI 的本機 SDXL-EcomID 支援。
此擴充功能不使用擴散器,而是本地實作 EcomID,並與 ComfyUI 完全整合。
EcomID 增強了肖像表示,提供更真實、更美觀的外觀,同時確保語義一致性和更大的內部 ID 相似性(即不隨年齡、髮型、眼鏡或其他身體變化而變化的特徵)。
您可以在 SDXL-EcomID 儲存庫中查看更多展示。
在examples
目錄中,您將找到基本工作流程和專用的換臉工作流程。
升級ComfyUI到最新版本!
下載或git clone
此儲存庫到ComfyUI/custom_nodes/
目錄中或使用管理員。
EcomID 需要insightface
,您需要將其與onnxruntime
和onnxruntime-gpu
一起新增到您的庫中。
型號:
PuLID預訓練模型位於ComfyUI/models/pulid/
(感謝Chenlei Hu將其轉換為IPAdapter格式)
EVA CLIP是 EVA02-CLIP-L-14-336,但應自動下載(將位於 Huggingface 目錄中)。
需要安裝facexlib
依賴,首次使用時下載模型
您還需要InsightFace和 AntelopeV2,解壓縮的模型應放置在ComfyUI/models/insightface/models/antelopev2
中
InstantID 的 ip_adapter 模型可從 HuggingFace 下載,並應放置在ComfyUI/models/instantid
目錄中。 (請注意,該模型稱為ip_adapter ,因為它是基於 IPAdapter)。
您還需要一個經過 200 萬張真實人體影像訓練的ControlNet 。請將其放置在 ComfyUI controlnet 目錄中。
您可以隨意生成各種解析度的圖像,因為我們已經使用 200 萬張高品質圖像訓練了控製網路。
您可以設定更高的 CFG 值以實現更好的語義一致性。 1 到 7 之間的值是可接受的,建議使用 6。
人的姿勢與參考影像產生的關鍵點對齊,就像在 InstantID 中一樣。您可以透過將影像傳送到image_kps輸入來實現不同的姿勢。
有一個 EcomID 高級節點可用,目前與標準節點的唯一區別是您可以分別設定 ip-adapter (PulID) 模型和 controlnet 的權重。
引用了以下儲存庫:ComfyUI_InstantID 和 PuLID_ComfyUI。
請記住,目前這僅與基於 SDXL 的模型相容,例如 EcomXL、leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
它與 SDXL Turbo/Lighting、EcomXL-Inpainting-ControlNet 和 EcomXL-Softedge-ControlNet 配合得很好。
Multi-ControlNet的結果如下所示: