ComfyUI IC Light Native

ComfyUI-IC-Light-Native

Собственная реализация ComfyUI IC-Light.

Установить

Загрузите репозиторий и распакуйте его в папку custom_nodes в каталоге установки ComfyUI.

Или клонируйте через GIT, начиная с каталога установки ComfyUI:

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

Скачать модели

Основной репозиторий IC-Light основан на рассеивателях. Чтобы загрузить его с помощью UnetLoader в ComfyUI, ключи state_dict необходимо преобразовать в формат ldm. Скачать модели с ldm-ключами можно здесь: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

Есть 2 модели:

• iclight_sd15_fc_unet_ldm: используйте это в рабочих процессах FG.
• iclight_sd15_fbc_unet_ldm: используйте это в рабочих процессах BG.

После загрузки этих моделей поместите их в папку ComfyUI/models/unet и загрузите с помощью узла UNETLoader .

Рекомендуемые узлы

• ComfyUI-KJNodes: предоставляет различные узлы маски для создания карты освещения.
• ComfyUI-Easy-Use: гигантский набор узлов со всем необходимым. Узел удаления bg, используемый в рабочем процессе, взят из этого пакета.
• ComfyUI_essentials: множество полезных инструментов. Узел изменения размера изображения, используемый в рабочем процессе, взят из этого пакета.
• ComfyUI-IC-Light: устройство IC-Light от Kijai. Он включает в себя очень полезный узел DetailTransfer , который помогает преобразовывать высокочастотные детали из входного изображения fg.

Рабочие процессы

Прежде чем передавать его в VAE, убедитесь, что замаскированная/прозрачная область изображения fg серая. В противном случае вы получите затемненный фон в рабочих процессах FC или затемненный фон в рабочих процессах FBC. Вы можете использовать IC Light Apply Mask Grey чтобы убедиться в правильности цвета замаскированной области. См. следующие примеры:

Учитывая передний план, создайте фоновый рисунок и перезапустите свет.

Если вы хотите сохранить исходный цвет объекта fg, вы можете поместить объект fg в скрытое пространство для дальнейшего управления генерацией. рабочий процесс

Учитывая передний план и карту освещения, создайте фоновый рисунок и переосвещите его.

Свет справа

Свет слева

Учитывая FG и BG, поместите FG на BG и перезажгите.

Восстановить высокочастотные детали (текст и т. д.) из исходного входного изображения.

• Входное изображение:
• Необработанное поколение:
• После передачи деталей:

Общие проблемы

Сеть IC-Light принимает дополнительные входы помимо общего шумового входа. Модель FG имеет дополнительный 1 вход (4 канала). Модель BG имеет 2 дополнительных входа (8 каналов). Вход оригинального unet также имеет 4 канала.

Если вы видите следующую ошибку, это означает, что вы используете рабочий процесс FG, но загрузили модель BG.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

Если вы видите следующую ошибку, это означает, что вы используете рабочий процесс FG, но загрузили модель BG.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead