Luz Nativa ComfyUI IC

ComfyUI-IC-Light-Nativo

Implementación nativa de ComfyUI de IC-Light.

Instalar

Descargue el repositorio y descomprímalo en la carpeta custom_nodes en el directorio de instalación de ComfyUI.

O clonar a través de GIT, comenzando desde el directorio de instalación de ComfyUI:

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

Descargar modelos

El repositorio principal de IC-Light se basa en difusores. Para cargarlo con UnetLoader en ComfyUI, las claves state_dict deben convertirse al formato ldm. Puede descargar modelos con claves ldm aquí: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

Hay 2 modelos:

• iclight_sd15_fc_unet_ldm: use esto en flujos de trabajo de FG
• iclight_sd15_fbc_unet_ldm: use esto en flujos de trabajo de BG

Después de descargar estos modelos, colóquelos en ComfyUI/models/unet y cárguelos con el nodo UNETLoader .

Nodos recomendados

• ComfyUI-KJNodes: proporciona varios nodos de máscara para crear un mapa de luz.
• ComfyUI-Easy-Use: un paquete de nodos gigante con todo. El nodo eliminar bg utilizado en el flujo de trabajo proviene de este paquete.
• ComfyUI_essentials: muchos nodos de herramientas útiles. El nodo de cambio de tamaño de imagen utilizado en el flujo de trabajo proviene de este paquete.
• ComfyUI-IC-Light: El modelo IC-Light de kijai. Incluye un nodo DetailTransfer muy útil para ayudar a evitar detalles de alta frecuencia de la imagen fg de entrada.

Flujos de trabajo

Asegúrese de que el área enmascarada/transparente de la imagen fg sea gris antes de pasarla al VAE. De lo contrario, el fondo se oscurecerá en los flujos de trabajo de FC o el fondo se oscurecerá en los flujos de trabajo de FBC. Puede utilizar IC Light Apply Mask Grey para asegurarse de que el color del área enmascarada sea correcto. Vea los siguientes ejemplos:

Dado FG, genera BG y vuelve a encender

Si desea mantener el color original del objeto fg, puede colocar el objeto fg en el espacio latente para guiar aún más la generación. flujo de trabajo

Dado FG y mapa de luz, genera BG y vuelve a encender

Luz desde la derecha

Luz desde la izquierda

Dados FG y BG, coloque FG en BG y vuelva a encenderlo.

Recuperar detalles de alta frecuencia (texto, etc.) de la imagen de entrada original

• Imagen de entrada:
• Generación cruda:
• Después de la transferencia detallada:

Problemas comunes

Unet de IC-Light acepta entradas adicionales además de la entrada de ruido común. El modelo FG acepta 1 entrada adicional (4 canales). El modelo BG acepta 2 entradas adicionales (8 canales). La entrada del unet original también es de 4 canales.

Si ve el siguiente error, significa que está utilizando el flujo de trabajo FG pero cargó el modelo BG.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

Si ve el siguiente error, significa que está utilizando el flujo de trabajo FG pero cargó el modelo BG.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead