ComfyUI IC ライトネイティブ

ComfyUI-IC-Light-Native

IC-Light の ComfyUI ネイティブ実装。

インストール

リポジトリをダウンロードし、ComfyUI インストール ディレクトリのcustom_nodes フォルダに解凍します。

または、ComfyUI インストール ディレクトリから開始して、GIT 経由でクローンを作成します。

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

モデルをダウンロードする

IC-Light のメイン リポジトリはディフューザーに基づいています。 ComfyUI の UnetLoader でロードするには、state_dict キーを ldm 形式に変換する必要があります。ここから ldm キーを含むモデルをダウンロードできます: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

2 つのモデルがあります:

• iclight_sd15_fc_unet_ldm: FG ワークフローでこれを使用します
• iclight_sd15_fbc_unet_ldm: BG ワークフローでこれを使用します

これらのモデルをダウンロードしたら、 ComfyUI/models/unetに配置し、 UNETLoaderノードでロードしてください。

推奨ノード

• ComfyUI-KJNodes: ライト マップを作成するためのさまざまなマスク ノードを提供します。
• 快適な UI の使いやすさ: すべてが詰まった巨大なノード パック。ワークフローで使用される削除ノードはこのパックからのものです。
• ComfyUI_essentials: 多くの便利なツール ノード。ワークフローで使用される画像サイズ変更ノードはこのパックからのものです。
• ComfyUI-IC-Light: kijai の IC-Light 実装。これには、入力 fg イメージから高周波のディテールを妨げるのに役立つ非常に便利なDetailTransferノードが含まれています。

ワークフロー

VAE に渡す前に、fg イメージのマスク/透明領域がグレーになっていることを確認してください。そうしないと、FC ワークフローで背景が隠れたり、FBC ワークフローで背景が暗くなったりします。 IC Light Apply Mask Grey使用して、マスクされた領域の色が正しいことを確認できます。次の例を参照してください。

FGを与えてBGを生成し再点灯する

fg オブジェクトの元の色を保持したい場合は、fg オブジェクトを潜在空間に配置して、生成をさらにガイドできます。ワークフロー

FGとライトマップを与えてBGを生成し再ライトする

右からの光

左からの光

FG と BG が与えられた場合、BG に FG を置いて再点灯します

元の入力画像から高周波の詳細（テキストなど）を復元します

• 入力画像:
• 生の生成:
• 詳細転送後:

よくある問題

IC-Light の unet は、一般的なノイズ入力に加えて追加の入力を受け入れます。 FG モデルは追加の 1 入力 (4 チャンネル) を受け入れます。 BG モデルは 2 つの追加入力 (8 チャンネル) を受け入れます。オリジナルのunetの入力も4チャンネルです。

次のエラーが表示された場合は、FG ワークフローを使用しているが、BG モデルがロードされていることを意味します。

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

次のエラーが表示された場合は、FG ワークフローを使用しているが、BG モデルがロードされていることを意味します。

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead