ComfyUI IC 轻原生

ComfyUI-IC-Light-Native

IC-Light 的 ComfyUI 本机实现。

安装

下载存储库并将其解压到 ComfyUI 安装目录中的 custom_nodes 文件夹中。

或者通过 git 克隆，从 ComfyUI 安装目录开始：

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

下载模型

IC-Light 主要仓库基于扩散器。为了在 ComfyUI 中使用 UnetLoader 加载它，state_dict 键需要转换为 ldm 格式。您可以在此处下载带有 ldm 密钥的模型：https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

有2种型号：

• iclight_sd15_fc_unet_ldm：在 FG 工作流程中使用它
• iclight_sd15_fbc_unet_ldm：在 BG 工作流程中使用它

下载这些模型后，请将它们放在ComfyUI/models/unet下，并使用UNETLoader节点加载它们。

推荐节点

• ComfyUI-KJNodes：提供各种遮罩节点来创建光照图。
• ComfyUI-Easy-Use：一个包含所有内容的巨型节点包。工作流程中使用的删除背景节点来自此包。
• ComfyUI_essentials：许多有用的工具节点。工作流程中使用的图像调整大小节点来自此包。
• ComfyUI-IC-Light：来自 kijai 的 IC-Light impl。它包括一个非常有用的DetailTransfer节点，可帮助预防输入 fg 图像中的高频细节。

工作流程

在将 fg 图像传递给 VAE 之前，请确保其遮罩/透明区域为灰色。否则，您将在 FC 工作流程中看到背景模糊或在 FBC 工作流程中看到背景变暗。您可以使用IC Light Apply Mask Grey确保遮罩区域的颜色正确。请参阅以下示例：

给定FG，生成BG并重新点亮

如果你想保留fg对象的原始颜色，可以将fg对象放在潜在空间中以进一步指导生成。工作流程

给定FG和光照贴图，生成BG并重新光照

光从右边射来

光从左边

给定FG和BG，将FG放在BG上并重新点燃

从原始输入图像中恢复高频细节（文本等）

• 输入图像：
• 原始生成：
• 详细传输后：

常见问题

IC-Light 的 unet 可接受除公共噪声输入之外的额外输入。 FG 型号接受额外 1 个输入（4 个通道）。 BG 型号接受 2 个额外输入（8 个通道）。原始unet的输入也是4通道。

如果您看到以下错误，则意味着您正在使用 FG 工作流程但加载了 BG 模型。

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

如果您看到以下错误，则意味着您正在使用 FG 工作流程但加载了 BG 模型。

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead