IC-Light 是一个控制图像照明的项目。
“IC-Light”这个名称代表“Impose Constant Light” （我们将在本页末尾简要描述这一点）。
目前，我们发布了两种类型的模型：文本条件重新光照模型和背景条件模型。两种类型都将前景图像作为输入。
关于 Flux 的一些新闻在这里。
下面的脚本将运行文本条件的重新照明模型：
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
或者，使用背景条件演示：
python gradio_demo_bg.py
模型下载是自动的。
请注意，“gradio_demo.py”此处有一个官方的 HuggingFace 空间。
（请注意，“照明首选项”只是初始潜伏 - 例如，如果照明首选项为“左”，则初始潜伏为左白右黑。）
提示：美丽的女人，细致的脸，温暖的气氛，在家，卧室
照明偏好：左
提示：美丽的女人，细致的脸，窗外的阳光
照明偏好：左
美丽的女人，细致的脸庞，霓虹灯，王家卫，温暖
照明偏好：左
提示：美女、细致的脸庞、阳光、户外、温馨的氛围
照明偏好：右
提示：美女、细致的脸庞、阳光、户外、温馨的氛围
照明偏好：左
提示：美丽的女人，细致的脸，窗外的阳光
照明偏好：右
提示：美丽的女人，细致的脸，窗外的影子
照明偏好：左
提示：美丽的女人，细致的脸，海上的日落
照明偏好：右
提示：帅气的男孩，细致的脸庞，霓虹灯，城市
照明偏好：左
提示：美丽的女人，细致的脸庞，光影
照明偏好：左
（美丽的女人，细致的脸，柔和的工作室灯光）
提示：佛像、细致的脸部、科幻RGB发光、赛博朋克
照明偏好：左
提示：佛像、面部细节、自然采光
照明偏好：左
提示：玩具、详细的脸部、窗户的阴影
照明偏好：底部
提示：玩具、细致的面孔、海上日落
照明偏好：右
提示：狗、魔法灯光、科幻 RGB 发光、工作室灯光
照明偏好：底部
提示：神秘的人类、温馨的氛围、温馨的氛围、在家、卧室
照明偏好：右
背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。
更结构化的可视化：
在 HDR 空间中，照明具有所有光传输都是独立的属性。
因此，不同光源的外观混合相当于混合光源的外观：
以上面的灯光阶段为例，来自“外观混合”和“光源混合”的两个图像是一致的（理想情况下，在 HDR 空间中数学上是等效的）。
在训练重新照明模型时，我们强加了这种一致性（在潜在空间中使用 MLP）。
因此，该模型能够产生高度一致的重新光照 -如此一致，甚至可以将不同的重新光照合并为法线贴图！尽管事实上这些模型是潜在扩散的。
从左到右依次是输入、模型输出、重新照明、分割的阴影图像和合并的法线贴图。请注意，该模型未使用任何法线贴图数据进行训练。这个正常的估计来自于重新点亮的一致性。
您可以使用此按钮重现此实验（速度慢 4 倍，因为它重新点亮图像 4 次）
以下是更大的图像（请随意尝试以获得更多结果！）
作为参考，geowizard（geowizard 是一个非常伟大的作品！）：
并且，开关灯（开关灯是另一项伟大的工作！）：
iclight_sd15_fc.safetensors - 默认的重新照明模型，以文本和前景为条件。您可以使用初始潜伏来影响重新照明。
iclight_sd15_fcon.safetensors - 与“iclight_sd15_fc.safetensors”相同，但使用偏移噪声进行训练。请注意，在用户研究中，默认的“iclight_sd15_fc.safetensors”稍微优于此模型。这就是为什么默认模型是没有偏移噪声的模型的原因。
iclight_sd15_fbc.safetensors - 以文本、前景和背景为条件的重新照明模型。
另请注意，原始 BRIA MBG 1.4 仅供非商业用途。如果您在商业项目中使用 IC-Light，请将其替换为 BiRefNet 等其他背景替换器。
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}还读...
全面重新照明：学习重新照明肖像以更换背景
Relightful Harmonization：灯光感知肖像背景替换
SwitchLight：物理驱动架构和人像补光预训练框架的协同设计
