IC-Light 是一個控制影像照明的專案。
「IC-Light」這個名稱代表「Impose Constant Light」 （我們將在本頁末簡要描述這一點）。
目前，我們發布了兩種類型的模型：文字條件重新光照模型和背景條件模型。兩種類型都將前景影像作為輸入。
關於 Flux 的一些新聞在這裡。
下面的腳本將運行文字條件的重新照明模型：
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
或者，使用背景條件示範：
python gradio_demo_bg.py
模型下載是自動的。
請注意，「gradio_demo.py」此處有一個官方的 HuggingFace 空間。
（請注意，“照明首選項”只是初始潛在值 - 例如，如果照明首選項為“左”，則初始潛在值是左白右黑。）
提示：美麗的女人，細緻的臉，溫暖的氣氛，在家，臥室
照明偏好：左
提示：美麗的女人，細緻的臉，窗外的陽光
照明偏好：左
美麗的女人，細緻的臉龐，霓虹燈，王家衛，溫暖
照明偏好：左
提示：美女、細緻的臉龐、陽光、戶外、溫馨的氛圍
照明偏好：右
提示：美女、細緻的臉龐、陽光、戶外、溫馨的氛圍
照明偏好：左
提示：美麗的女人，細緻的臉，窗外的陽光
照明偏好：右
提示：美麗的女人，細緻的臉，窗外的影子
照明偏好：左
提示：美麗的女人，細緻的臉，海上的日落
照明偏好：右
提示：帥氣的男孩，細緻的臉龐，霓虹燈，城市
照明偏好：左
提示：美麗的女人，細緻的臉龐，光影
照明偏好：左
（美麗的女人，細緻的臉，柔和的工作室燈光）
提示：佛像、細緻的臉部、科幻RGB發光、賽博龐克
照明偏好：左
提示：佛像、臉部細節、自然採光
照明偏好：左
提示：玩具、細緻的臉部、窗戶的陰影
照明偏好：底部
提示：玩具、細緻的臉孔、海上日落
照明偏好：右
提示：狗、魔法燈光、科幻 RGB 發光、工作室燈光
照明偏好：底部
提示：神祕的人性、溫馨的氛圍、溫馨的氛圍、在家、臥室
照明偏好：右
背景條件模型不需要仔細提示。只需使用“帥哥、電影燈光”等簡單提示。
更結構化的可視化：
在 HDR 空間中，照明具有所有光傳輸都是獨立的屬性。
因此，不同光源的外觀混合相當於混合光源的外觀：
以上面的燈光階段為例，兩個來自「外觀混合」和「光源混合」的影像是一致的（理想情況下，在 HDR 空間中數學上是等效的）。
在訓練重新照明模型時，我們強加了這種一致性（在潛在空間中使用 MLP）。
因此，該模型能夠產生高度一致的重新光照 -如此一致，甚至可以將不同的重新光照合併為法線貼圖！儘管事實上這些模型是潛在擴散的。
從左到右依序是輸入、模型輸出、重新照明、分割的陰影影像和合併的法線貼圖。請注意，該模型未使用任何法線貼圖資料進行訓練。這個正常的估計來自於重新點亮的一致性。
您可以使用此按鈕重現此實驗（速度慢 4 倍，因為它重新點亮影像 4 次）
以下是更大的圖像（請隨意嘗試以獲得更多結果！）
作為參考，geowizard（geowizard 是一個非常偉大的作品！）：
並且，開關燈（開關燈是另一個偉大的工作！）：
iclight_sd15_fc.safetensors - 預設的重新照明模型，以文字和前景為條件。您可以使用初始潛伏來影響重新照明。
iclight_sd15_fcon.safetensors - 與“iclight_sd15_fc.safetensors”相同，但使用偏移噪音進行訓練。請注意，在使用者研究中，預設的「iclight_sd15_fc.safetensors」稍微優於此模型。這就是為什麼預設模型是沒有偏移雜訊的模型的原因。
iclight_sd15_fbc.safetensors - 以文字、前景和背景為條件的重新照明模型。
另請注意，原始 BRIA MBG 1.4 僅供非商業用途。如果您在商業專案中使用 IC-Light，請將其替換為 BiRefNet 等其他背景替換器。
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}還讀...
全面重新照明：學習重新照明肖像以更換背景
Relightful Harmonization：燈光感知肖像背景替換
SwitchLight：實體驅動架構和人像補光預訓練框架的協同設計
