IC-Light — проект по управлению освещением изображений.
Название «IC-Light» означает «Навязывающий постоянный свет» (мы кратко опишем это в конце этой страницы).
В настоящее время мы выпускаем два типа моделей: модель повторного освещения с условием текста и модель с фоновым условием. Оба типа принимают изображения переднего плана в качестве входных данных.
Некоторые новости о флюсе здесь.
Ниже скрипт запустит модель повторного освещения с текстовым условием:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
Или, чтобы использовать демонстрационную версию с фоновым режимом:
python gradio_demo_bg.py
Загрузка модели происходит автоматически.
Обратите внимание, что у файла «gradio_demo.py» здесь есть официальное пространствоhuggingFace Space.
(Обратите внимание, что «Предпочтение освещения» — это просто начальные скрытые значения — например, если предпочтение освещения установлено на «Левое», то начальное скрытое значение — левый белый правый черный.)
Подсказка: красивая женщина, детальное лицо, теплая атмосфера, дома, спальня.
Предпочтение освещения: слева
Подсказка: красивая женщина, детальное лицо, солнечный свет из окна.
Предпочтение освещения: слева
красивая женщина, детальное лицо, неон, Вонг Карвай, теплый
Предпочтение освещения: слева
Подсказка: красивая женщина, детальное лицо, солнечный свет, улица, теплая атмосфера.
Предпочтение по освещению: правое
Подсказка: красивая женщина, детальное лицо, солнечный свет, улица, теплая атмосфера.
Предпочтение освещения: слева
Подсказка: красивая женщина, детальное лицо, солнечный свет из окна.
Предпочтение по освещению: правое
Подсказка: красивая женщина, детализированное лицо, тень из окна.
Предпочтение освещения: слева
Подсказка: красивая женщина, детализированное лицо, закат над морем.
Предпочтение по освещению: правое
Подсказка: красивый мальчик, детальное лицо, неоновый свет, город.
Предпочтение освещения: слева
Подсказка: красивая женщина, детализированное лицо, свет и тень.
Предпочтение освещения: слева
(красивая женщина, детальное лицо, мягкий студийный свет)
Подсказка: Будда, детализированное лицо, научно-фантастическое RGB-подсветка, киберпанк.
Предпочтение освещения: слева
Подсказка: Будда, детализированное лицо, естественное освещение.
Предпочтение освещения: слева
Подсказка: игрушка, детализированное лицо, тень от окна.
Предпочтение освещения: снизу
Подсказка: игрушка, детализированное лицо, закат над морем.
Предпочтение по освещению: правое
Подсказка: собака, волшебная подсветка, научно-фантастическая RGB-подсветка, студийное освещение.
Предпочтение освещения: снизу
Подсказка: загадочный человек, теплая атмосфера, теплая атмосфера, дом, спальня.
Предпочтение по освещению: правое
Модель с фоновым условием не требует тщательной подсказки. Можно использовать простые подсказки типа «красивый мужчина, кинематографическое освещение».
Более структурированная визуализация:
В HDR-пространстве освещение обладает свойством, заключающимся в том, что все переносы света независимы.
В результате смешение изображений разных источников света эквивалентно внешнему виду со смешанными источниками света:
Используя приведенную выше сцену освещения в качестве примера, два изображения из «смесь внешнего вида» и «смесь источников света» согласованы (в идеале математически эквивалентны в пространстве HDR).
Мы установили такую согласованность (используя MLP в скрытом пространстве) при обучении моделей повторного освещения.
В результате модель способна обеспечить очень согласованное переосвещение — настолько согласованное, что различные варианты переосвещения можно даже объединять в карты нормалей! Несмотря на то, что модели являются скрытой диффузией.
Слева направо — входные данные, переосвещение выходных данных модели, разделенное теневое изображение и объединенные карты нормалей. Обратите внимание, что модель не обучается с использованием данных обычной карты. Эта нормальная оценка обусловлена постоянством повторного включения света.
Вы можете воспроизвести этот эксперимент с помощью этой кнопки (это в 4 раза медленнее, потому что изображение перезагружается 4 раза)
Ниже приведены изображения большего размера (не стесняйтесь попробовать сами, чтобы получить больше результатов!)
Для справки, geowizard (geowizard — действительно отличная работа!):
И переключатель (выключатель — еще одна замечательная работа!):
iclight_sd15_fc.safetensors — модель повторного освещения по умолчанию, зависящая от текста и переднего плана. Вы можете использовать начальную латентность, чтобы повлиять на повторное зажигание.
iclight_sd15_fcon.safetensors — то же, что и «iclight_sd15_fc.safetensors», но обучено со смещением шума. Обратите внимание, что стандартная модель «iclight_sd15_fc.safetensors» немного превосходит эту модель в исследовании пользователей. И это причина, почему моделью по умолчанию является модель без шума смещения.
iclight_sd15_fbc.safetensors — переосвещение модели с учетом текста, переднего плана и фона.
Также обратите внимание, что оригинальная версия BRIA RMBG 1.4 предназначена для некоммерческого использования. Если вы используете IC-Light в коммерческих проектах, замените его другим заменителем фона, например BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}Также читайте...
Тотальное переосвещение: учимся переосвещать портреты для замены фона
Потрясающая гармонизация: замена фона портрета с учетом освещения
SwitchLight: совместная разработка архитектуры, основанной на физике, и платформы предварительного обучения для изменения освещения портрета человека
