ComfyUI IC Light Nativo

ComfyUI-IC-Light-Native

Implementação nativa ComfyUI do IC-Light.

Instalar

Baixe o repositório e descompacte na pasta custom_nodes no diretório de instalação do ComfyUI.

Ou clone via GIT, começando no diretório de instalação do ComfyUI:

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

Baixar modelos

O repositório principal IC-Light é baseado em difusores. Para carregá-lo com UnetLoader no ComfyUI, as chaves state_dict precisam ser convertidas para o formato ldm. Você pode baixar modelos com chaves ldm aqui: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

Existem 2 modelos:

• iclight_sd15_fc_unet_ldm: Use isto em fluxos de trabalho FG
• iclight_sd15_fbc_unet_ldm: Use isto em fluxos de trabalho BG

Depois de baixar esses modelos, coloque-os em ComfyUI/models/unet e carregue-os com o nó UNETLoader .

Nós recomendados

• ComfyUI-KJNodes: Fornece vários nós de máscara para criar mapa de luz.
• ComfyUI-Easy-Use: um pacote de nós gigante com tudo. O nó remove bg usado no fluxo de trabalho vem deste pacote.
• ComfyUI_essentials: Muitos nós de ferramentas úteis. O nó de redimensionamento de imagem usado no fluxo de trabalho vem deste pacote.
• ComfyUI-IC-Light: O impl IC-Light do kijai. Ele inclui um nó DetailTransfer muito útil para ajudar a prever detalhes de alta frequência da imagem fg de entrada.

Fluxos de trabalho

Certifique-se de que a área mascarada/transparente da imagem fg esteja cinza antes de passá-la para o VAE. Caso contrário, você terá o fundo obscurecido nos fluxos de trabalho FC ou o fundo escurecido nos fluxos de trabalho FBC. Você pode usar IC Light Apply Mask Grey para garantir que a cor da área mascarada esteja correta. Veja os exemplos a seguir:

Dado FG, gere BG e reacenda

Se quiser manter a cor original do objeto fg, você pode colocar o objeto fg no espaço latente para orientar ainda mais a geração. fluxo de trabalho

Dado FG e mapa de luz, gere BG e reacenda

Luz da direita

Luz da esquerda

Dado FG e BG, coloque FG em BG e reacenda

Recuperar detalhes de alta frequência (texto, etc.) da imagem de entrada original

• Imagem de entrada:
• Geração bruta:
• Após transferência de detalhes:

Problemas comuns

O unet do IC-Light está aceitando entradas extras além da entrada de ruído comum. O modelo FG aceita 1 entrada extra (4 canais). O modelo BG aceita 2 entradas extras (8 canais). A entrada do unet original também tem 4 canais.

Se você vir o seguinte erro, significa que você está usando o fluxo de trabalho FG, mas carregou o modelo BG.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

Se você vir o seguinte erro, significa que você está usando o fluxo de trabalho FG, mas carregou o modelo BG.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead