IPAdapter モデルの ComfyUI リファレンス実装。
IPAdapter は、画像間の調整を行うための非常に強力なモデルです。参照画像の主題やスタイルだけでも、世代を超えて簡単に継承できます。 1枚の画像のloraと考えてください。
Github スポンサー |ペイパル
私の作品が気に入って、アップデートや新機能をご覧になりたい場合は、私のプロジェクトのスポンサーになることを検討してください。
ComfyUI IPアダプター プラス
ComfyUI InstantID (ネイティブ)
ComfyUI の必需品
ComfyUI 顔分析
ドキュメントやビデオチュートリアルは言うまでもありません。 YouTube のComfyUI Advanced Understandingビデオ (パート 1 とパート 2 など) をチェックしてください。
コードをオープンかつ無料に保つ唯一の方法は、開発のスポンサーになることです。スポンサーシップが増えれば増えるほど、オープンソース プロジェクトに多くの時間を費やすことができます。
Github スポンサーシップまたは PayPal 寄付 (Matteo "matt3o" Spinelli) をご検討ください。 50 ドル以上のスポンサーシップの場合は、この Readme ファイルに記載されたい場合はお知らせください。Discord またはmatt3o で私を見つけることができます。 gmail.com 。
2024/09/13 : 最初から持ち歩いている中央ブロックのパッチ適用における厄介なバグを修正しました。残念ながら、生成される画像は以前とまったく同じではありません。とにかく真ん中のブロックはそれほど大きな影響はないので、それほど問題にはならないでしょう。スタイルやコンポジションの転送には影響せず、リニア世代のみに影響します。私は通常、小さなバグ修正については報告しませんが、これは異なる結果を引き起こす可能性があるため、言及する価値があると思いました。
2024/08/02 : Kolors FaceIDv2 のサポート。ベスト プラクティスについては、サンプル ワークフローを確認してください。
2024/07/26 : ClipVision Enhancer に画像バッチとアニメーションのサポートを追加しました。
2024/07/18 : カラーズをサポート。
2024/07/17 : 実験的な ClipVision Enhancer ノードを追加しました。これは何らかの形で Scaling on Scales の論文からインスピレーションを得たものですが、実装は少し異なります。新しい IPAdapterClipVisionEnhancer は、(ピクセル空間内の画像の代わりに) 埋め込みをタイリングすることで細かい詳細を捕捉しようとします。その結果、パフォーマンスを犠牲にすることなく、わずかに高解像度の視覚的な埋め込みが得られます。
2024/07/11 : 実験的に精密な構図（レイアウト）転送を追加しました。スタイルとしてはあまり良くないです。 embeds_scaling大きな影響を与えます。強度 0.8 から開始し、SDXL では 0.3 ブースト、SD1.5 では 0.6 ブースト 0.35 を設定します。
2024/06/28 : IPAdapter Precise Style Transferノードを追加しました。 style_boostオプションを増やして、コンポジション レイヤーのにじみを軽減します。重要: SDXL ではより適切に動作します。style_boost を 2 から始めます。 SD1.5 の場合は、重みを 1.0 より少し大きくして、style_boost を 0 から始まる -1 から +1 までの値に設定してみてください。
2024/06/22 : style transfer preciseを追加し、スタイル層とコンポジション層の間の埋め込みのにじみを軽減します。特に参照画像が生成された画像と大きく異なる場合には、標準スタイル転送よりも優れている場合があります。 SD1.5 よりも SDXL の方がうまく動作します。
2024/05/21 : encode_batch_size時のメモリ割り当てが改善されました。主に非常に長いアニメーションに役立ちます。
2024/05/02 : アドバンスバッチノードにencode_batch_sizeを追加。これは、画像エンコード中の VRAM 使用量を削減するために、フレーム数が多いアニメーションの場合に役立ちます。バッチサイズに応じて結果が若干異なることに注意してください。
2024/04/27 : AnimateDiff アニメーションに主に役立つ IPAdapterWeights をリファクタリングしました。
2024/04/21 : アテンション マスキングとマスクされたテキスト コンディショニングを簡素化するためにリージョナル コンディショニング ノードを追加しました。
2024/04/16 : 新しい SDXL ポートレート非標準モデルのサポートを追加しました (下記のリンク)。これは非常に強力で、テキストの条件付けを無視する傾向があります。 CFG を 3 ～ 4 に下げるか、RescaleCFG ノードを使用します。
(読みやすくするために古い更新は削除されました)
サンプル ディレクトリには、IPAdapter のすべての機能をカバーする多くのワークフローが含まれています。
新しい IPAdapter 機能
IPAdapter のスタイルと構成
次のビデオは IPAdapter の以前のバージョンに関するものですが、それでも貴重な情報が含まれています。
基本的な使い方のビデオ、?高度な機能のビデオ、?マスキングビデオに注意してください?アニメーション機能ビデオ
このリポジトリをComfyUI/custom_nodes/ディレクトリ内にダウンロードまたは git clone するか、Manager を使用します。 IPAdapter には常に最新バージョンの ComfyUI が必要です。何かが動作しない場合は、必ずアップグレードしてください。マネージャーの自動アップデートが機能しない場合があり、手動でアップグレードする必要がある場合があることに注意してください。
Unified Model Loader が使用できるようになりました。これが機能するには、以下で説明するとおりにファイルに名前を付ける必要があります。従来のローダーはどのファイル名でも機能しますが、手動で選択する必要があります。モデルはサブディレクトリに配置できます。
extra_model_paths.yamlファイル内のipadapterエントリを設定するカスタムの場所を使用することもできることに注意してください。
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors、ダウンロードして名前を変更します
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors、ダウンロードして名前を変更します
Clip-vit-large-patch14-336.bin、Kolors モデルのみをダウンロードして名前を変更します
/ComfyUI/models/ipadapter 、存在しない場合は作成します
ip-adapter_sd15.safetensors、基本モデル、平均強度
ip-adapter_sd15_light_v11.bin、軽影響モデル
ip-adapter-plus_sd15.safetensors、Plus モデル、非常に強力
ip-adapter-plus-face_sd15.safetensors、顔モデル、ポートレート
ip-adapter-full-face_sd15.safetensors、より強力な顔モデル、必ずしも優れているわけではない
ip-adapter_sd15_vit-G.safetensors、ベース モデル、 bigG クリップ ビジョン エンコーダが必要
ip-adapter_sdxl_vit-h.safetensors、SDXL モデル
ip-adapter-plus_sdxl_vit-h.safetensors、SDXL プラス モデル
ip-adapter-plus-face_sdxl_vit-h.safetensors、SDXL 顔モデル
ip-adapter_sdxl.safetensors、vit-G SDXL モデル、 bigG クリップ ビジョン エンコーダが必要
非推奨のip-adapter_sd15_light.safetensors、v1.0 軽度の影響モデル
FaceIDモデルにはinsightfaceが必要です。これを ComfyUI 環境にインストールする必要があります。ヘルプが必要な場合は、この問題を確認してください。ほとんどの FaceID モデルには LoRA も必要であることに注意してください。
Unified Loader が機能するには、ファイルに以下のリストに示されているとおりに正確に名前を付ける必要があります。
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin、基本 FaceID モデル
ip-adapter-faceid-plusv2_sd15.bin、FaceID プラス v2
ip-adapter-faceid-portrait-v11_sd15.bin、ポートレート用のテキスト プロンプト スタイル転送
ip-adapter-faceid_sdxl.bin、SDXL ベース FaceID
ip-adapter-faceid-plusv2_sdxl.bin、SDXL プラス v2
ip-adapter-faceid-portrait_sdxl.bin、SDXL テキスト プロンプト スタイル転送
ip-adapter-faceid-portrait_sdxl_unnorm.bin、非常に強力なスタイル転送 SDXL のみ
非推奨のip-adapter-faceid-plus_sd15.bin、FaceID プラス v1
非推奨のip-adapter-faceid-portrait_sd15.bin、ポートレート モデルの v1
ほとんどの FaceID モデルには LoRA が必要です。 IPAdapter Unified Loader FaceID使用する場合、命名規則に従っていると、自動的にロードされます。それ以外の場合は、手動でロードする必要があります。各 FaceID モデルを独自の特定の LoRA と組み合わせる必要があることに注意してください。
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors、SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors、SDXL プラス v2 LoRA
非推奨のip-adapter-faceid-plus_sd15_lora.safetensors、非推奨の FaceID plus v1 モデルの LoRA
すべてのモデルは ハグフェイス でご覧いただけます。
コミュニティはいくつかの興味深い IPAdapter モデルをベイクしました。
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors、スタイルとコンテンツを無視した一般的な構成、詳細はこちら
ip_plus_composition_sdxl.safetensors、SDXL バージョン
Kolors-IP-Adapter-Plus.bin、Kolors モデル用 IPAdapter Plus
Kolors-IP-Adapter-FaceID-Plus.bin、Kolors モデルの IPAdapter FaceIDv2。注: Kolors は InsightFace antelopev2モデルでトレーニングされているため、手動でダウンロードしてmodels/inisghtfaceディレクトリ内に配置する必要があります。
他のモデルをご存知の場合はお知らせください。統合ローダーに追加します。
サンプル ディレクトリには多くのワークフローが含まれています。サポートを依頼する前に必ずご確認ください。
通常は、 weight少なくとも0.8まで下げて、ステップ数を増やすことをお勧めします。プロンプトへの準拠性を高めるには、 IPAdapter Advancedノードで重みのタイプを変更してみてください。
すべてのノードを (ゆっくりと) 文書化しています。ノードリファレンスを確認してください。
新しい問題を投稿する前に、トラブルシューティングを確認してください。また、以前に終了した問題も忘れずに確認してください。
