簡體中文(簡體中文)
對 ComfyUI 的本機 InstantID 支援。
此擴充與許多現有的擴充不同,因為它不使用擴散器,而是本地實作 InstantID,並且與 ComfyUI 完全整合。
Github 贊助商 | ?貝寶
如果您喜歡我的工作並希望看到更新和新功能,請考慮贊助我的專案。
ComfyUI IPAdapter Plus
ComfyUI InstantID(本機)
ComfyUI 要點
ComfyUI人臉分析
更不用說文檔和視頻教程了。查看 YouTube 上我的ComfyUI 高級理解視頻,例如第 1 部分和第 2 部分
保持程式碼開放和免費的唯一方法是贊助其開發。贊助越多,我就能將更多的時間投入我的開源專案。
請考慮 Github 贊助或 PayPal 捐贈(Matteo“matt3o”Spinelli)。對於 50 美元以上的贊助,如果您想在本自述文件中提及,請告訴我,您可以在 Discord 或matt3o gmail.com上找到我。
2024/02/27:在負嵌入中加入了雜訊注入。
2024/02/26:修復了一個小但令人討厭的錯誤。結果會有所不同,您可能需要降低 CFG。
2024/02/20:我重構了節點,希望它們更容易使用。這是一個重大更新,以前的工作流程將不再起作用。
在examples
目錄中,您將找到一些基本的工作流程。
** InstantID 功能簡介**
升級ComfyUI到最新版本!
下載或git clone
此儲存庫到ComfyUI/custom_nodes/
目錄中或使用管理員。
InstantID 需要insightface
,您需要將其與onnxruntime
和onnxruntime-gpu
一起新增到您的程式庫中。
InsightFace 模型是antelopev2 (不是經典的 buffalo_l)。下載模型(例如從此處或此處),解壓縮並將其放置在ComfyUI/models/insightface/models/antelopev2
目錄中。
主模型可以從 HuggingFace 下載,並應放置在ComfyUI/models/instantid
目錄中。 (請注意,該模型稱為ip_adapter ,因為它是基於 IPAdapter)。
您還需要一個controlnet,將其放在ComfyUI controlnet 目錄中。
請記住,目前這僅適用於 SDXL。
訓練資料充滿了水印,為了避免它們在您的世代中出現,請使用與 1024×1024(或標準分辨率)略有不同的分辨率,例如1016×1016效果很好。
將 CFG 降低到至少 4/5 很重要,或者您可以使用RescaleCFG
節點。
該人是根據參考圖像生成的關鍵點擺出姿勢的。您可以透過將影像傳送到image_kps
輸入來使用不同的姿勢。
預設的 InstantID 實作似乎確實會燒毀影像,我發現透過向負嵌入註入噪聲,我們可以減輕影響並增加參考的可能性。預設的Apply InstantID節點會自動注入35%的噪聲,如果你想微調效果可以使用Advanced InstantID節點。
這仍然是實驗性的,將來可能會改變。
您可以為這一代添加更多控制網。提供了深度控製網路的範例工作流程。
可以使用 IPAdapter 設定組合的樣式。提供了一個範例。
支援多ID,但工作流程有點複雜,產生速度較慢。我會檢查是否能找到更好的方法。範例目錄中提供了「hackish」工作流程。
有一個 InstantID 高階節點可用,目前與標準節點的唯一差異是您可以分別設定 instantID 模型和 controlnet 的權重。現在它還包括噪聲注入選項。這可能對微調有幫助。
instantID模型影響了約25%的組成,其餘的則是controlnet。
噪音有助於減少「燒傷」效應。
它與 SDXL Turbo/Lighting 配合得很好。社區檢查點的最佳結果。
只有感謝慷慨的贊助商,整個社區才能享受開放和免費的軟體。請與我一起感謝以下企業和個人!
舒跑(ComfyUI雲)
Ø伊斯坦Ø。奧爾森
傑克甘恩
內森希普利
杜克尼茲亞
還有我所有的公共和私人贊助商!