IPAdapter 模型的 ComfyUI 參考實作。
IPAdapter 是非常強大的影像到影像調節模型。主題甚至只是參考圖像的風格都可以輕鬆傳遞給一代。將其視為單幅圖像 lora。
Github 贊助商 |貝寶
如果您喜歡我的工作並希望看到更新和新功能，請考慮贊助我的專案。
ComfyUI IPAdapter Plus
ComfyUI InstantID（本機）
ComfyUI 要點
ComfyUI人臉分析
更不用說文檔和視頻教程了。查看 YouTube 上我的ComfyUI 高級理解視頻，例如第 1 部分和第 2 部分
保持程式碼開放和免費的唯一方法是贊助其開發。贊助越多，我就能將更多的時間投入我的開源專案。
請考慮 Github 贊助或 PayPal 捐贈（Matteo“matt3o”Spinelli）。對於 50 美元以上的贊助，如果您想在本自述文件中提及，請告訴我，您可以在 Discord 或matt3o 上找到我？ gmail.com 。
2024/09/13 ：修正了我們從一開始就攜帶的中間塊修補中的一個令人討厭的錯誤。不幸的是，生成的圖像與以前不完全相同。無論如何，中間的區塊不會產生太大的影響，所以應該沒什麼大不了的。它不會影響風格或構圖遷移，只會影響線性生成。我通常不會報告小錯誤修復，但這可能會導致不同的結果，所以我認為值得一提。
2024/08/02 : 支援 Kolors FaceIDv2。請檢查範例工作流程以了解最佳實務。
2024/07/26 ：為 ClipVision 增強器新增了對影像批次和動畫的支援。
2024/07/18 ：支援 Kolors。
2024/07/17 ：新增了實驗性 ClipVision Enhancer 節點。它在某種程度上受到了 Scaling on Scales 論文的啟發，但實現有點不同。新的 IPAdapterClipVisionEnhancer 嘗試透過平鋪嵌入（而不是像素空間中的影像）來捕捉小細節，結果是解析度稍高的視覺嵌入，且不影響效能。
2024/07/11 ：新增實驗性精確構圖（佈局）傳輸。它不如風格。 embeds_scaling有巨大的影響。從強度 0.8 開始，SDXL 中強度增加 0.3，SD1.5 中強度 0.6 增強 0.35。
2024/06/28 ：新增了IPAdapter Precise Style Transfer節點。增加style_boost選項以降低合成層的滲色。重要提示：在 SDXL 中效果更好，從 style_boost 為 2 開始；對於 SD1.5，嘗試將權重增加到 1.0 以上，並將 style_boost 設為 -1 到 +1 之間的值，從 0 開始。
2024/06/22 ：增加了style transfer precise ，減少了風格層和合成層之間嵌入的流失。有時它比標準風格遷移更好，特別是當參考圖像與生成的圖像非常不同時。在 SDXL 中比 SD1.5 效果更好。
2024/05/21 ：改進了encode_batch_size時的記憶體分配。主要用於很長的動畫。
2024/05/02 : 將encode_batch_size加入到高階批次節點。這對於具有大量幀的動畫非常有用，可以減少圖像編碼過程中 VRAM 的使用。請注意，根據批量大小，結果會略有不同。
2024/04/27 ：重構了對 AnimateDiff 動畫最有用的 IPAdapterWeights。
2024/04/21 ：新增了區域調節節點以簡化注意力屏蔽和屏蔽文字調節。
2024/04/16 ：新增了對新的 SDXL 肖像非規範模型的支援（連結如下）。它非常強大並且往往會忽略文字調節。將 CFG 降低到 3-4 或使用 RescaleCFG 節點。
（為了方便閱讀，刪除了較舊的更新）
範例目錄有許多涵蓋所有 IPAdapter 功能的工作流程。
新的 IPAdapter 功能
IPAdapter 樣式和組成
以下影片是關於 IPAdapter 的早期版本，但它們仍然包含有價值的資訊。
基本使用視頻，？高級功能視頻，？注意屏蔽視頻，？動畫專題影片
下載或 git 克隆此儲存庫到ComfyUI/custom_nodes/目錄中或使用管理員。 IPAdapter 始終需要最新版本的 ComfyUI。如果某些功能不起作用，請務必升級。請注意，管理器的自動更新有時不起作用，您可能需要手動升級。
現在有一個統一模型載入器，為了讓它工作，您需要完全按照下面的描述命名檔案。舊版載入程式可以使用任何檔案名，但您必須手動選擇它們。模型可以放入子目錄。
請記住，您也可以使用任何自訂位置在extra_model_paths.yaml檔案中設定ipadapter條目。
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下載並重新命名
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下載並重新命名
Clip-vit-large-patch14-336.bin，僅針對 Kolors 型號下載並重新命名
/ComfyUI/models/ipadapter ，如果不存在則建立它
ip-adapter_sd15.safetensors，基本模型，平均強度
ip-adapter_sd15_light_v11.bin，輕型影響模型
ip-adapter-plus_sd15.safetensors，Plus模型，非常強大
ip-adapter-plus-face_sd15.safetensors，臉部模型，肖像
ip-adapter-full-face_sd15.safetensors，更強的人臉模型，不一定更好
ip-adapter_sd15_vit-G.safetensors，基礎模型，需要 bigG 剪輯視覺編碼器
ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 型號
ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 人臉模型
ip-adapter_sdxl.safetensors，vit-G SDXL 模型，需要 bigG 剪輯視覺編碼器
已棄用ip-adapter_sd15_light.safetensors，v1.0 輕型影響模型
FaceID模型需要insightface ，您需要將其安裝在 ComfyUI 環境中。檢查此問題尋求協助。請記住，大多數 FaceID 型號也需要 LoRA。
為了使統一載入程式正常運作，檔案的名稱必須完全按照下面的清單所示。
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin，基本 FaceID 模型
ip-adapter-faceid-plusv2_sd15.bin，FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin，人像文字提示風格轉換
ip-adapter-faceid_sdxl.bin，SDXL 基本 FaceID
ip-adapter-faceid-plusv2_sdxl.bin，SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin，SDXL文字提示樣式傳輸
ip-adapter-faceid-portrait_sdxl_unnorm.bin，非常強的風格只傳輸SDXL
已棄用ip-adapter-faceid-plus_sd15.bin、FaceID plus v1
已棄用肖像模型 v1 的 ip-adapter-faceid-portrait_sd15.bin
大多數 FaceID 型號都需要 LoRA。如果您使用IPAdapter Unified Loader FaceID並且遵循命名約定，它將自動載入。否則，您必須手動加載它們，請注意每個 FaceID 模型都必須與其自己特定的 LoRA 配對。
/ComfyUI/models/loras
ip-適配器-faceid_sd15_lora.safetensors
ip-適配器-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors，SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL 加 v2 LoRA
已棄用ip-adapter-faceid-plus_sd15_lora.safetensors，LoRA 用於已棄用的 FaceID plus v1 模型
所有型號都可以在huggingface 上找到。
社群已經烘焙了一些有趣的 IPAdapter 模型。
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors，忽略樣式和內容的一般組合，更多資訊請參閱此處
ip_plus_composition_sdxl.safetensors，SDXL 版本
Kolors-IP-Adapter-Plus.bin，Kolors 型號的 IPAdapter Plus
Kolors-IP-Adapter-FaceID-Plus.bin，Kolors 型號的 IPAdapter FaceIDv2。注意： Kolors 是在 InsightFace antelopev2模型上訓練的，您需要手動下載它並將其放在models/inisghtface目錄中。
如果您知道其他型號，請告訴我，我會將它們添加到統一載入程式中。
範例目錄中包含許多工作流程。請在尋求支持之前檢查它們。
通常最好將weight降低到至少0.8並增加步數。為了提高對提示的遵守程度，您可以嘗試變更IPAdapter Advanced節點中的權重類型。
我正在（慢慢地）記錄所有節點。請檢查節點參考。
在發布新問題之前，請檢查故障排除。也要記得檢查之前已關閉的問題。
