ComfyUI IC Light Native

ComfyUI-IC-Light-Native

Implémentation native ComfyUI d'IC-Light.

Installer

Téléchargez le référentiel et décompressez-le dans le dossier custom_nodes du répertoire d'installation de ComfyUI.

Ou clonez via GIT, à partir du répertoire d'installation de ComfyUI :

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

Télécharger des modèles

Le référentiel principal d'IC-Light est basé sur des diffuseurs. Afin de le charger avec UnetLoader dans ComfyUI, les clés state_dict doivent être converties au format ldm. Vous pouvez télécharger des modèles avec des clés ldm ici : https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

Il existe 2 modèles :

• iclight_sd15_fc_unet_ldm : utilisez-le dans les flux de travail FG
• iclight_sd15_fbc_unet_ldm : utilisez-le dans les flux de travail BG

Après avoir téléchargé ces modèles, veuillez les placer sous ComfyUI/models/unet et les charger avec le nœud UNETLoader .

Nœuds recommandés

• ComfyUI-KJNodes : fournit divers nœuds de masque pour créer une carte de lumière.
• ComfyUI-Easy-Use : un pack de nœuds géants contenant tout. Le nœud de suppression bg utilisé dans le workflow provient de ce pack.
• ComfyUI_essentials : de nombreux nœuds d'outils utiles. Le nœud de redimensionnement d'image utilisé dans le flux de travail provient de ce pack.
• ComfyUI-IC-Light : L'impl IC-Light de kijai. Il comprend un nœud DetailTransfer très utile pour aider à prévenir les détails à haute fréquence de l'image fg d'entrée.

Flux de travail

Veuillez vous assurer que la zone masquée/transparente de l'image fg est grise avant de la transmettre au VAE. Sinon, vous obtiendrez un arrière-plan obscurci dans les flux de travail FC ou un arrière-plan sombre dans les flux de travail FBC. Vous pouvez utiliser IC Light Apply Mask Grey pour vous assurer que la couleur de la zone masquée est correcte. Voir les exemples suivants :

Étant donné FG, générer BG et rallumer

Si vous souhaitez conserver la couleur d'origine de l'objet fg, vous pouvez placer l'objet fg dans l'espace latent pour guider davantage la génération. flux de travail

Compte tenu du FG et de la carte lumineuse, générer BG et rallumer

Lumière de droite

Lumière de gauche

Compte tenu de FG et BG, mettez FG sur BG et rallumez

Récupérer les détails haute fréquence (texte, etc.) de l'image d'entrée d'origine

• Image d'entrée :
• Génération brute :
• Après transfert de détails :

Problèmes courants

L'unet d'IC-Light accepte des entrées supplémentaires en plus de l'entrée de bruit commune. Le modèle FG accepte 1 entrée supplémentaire (4 canaux). Le modèle BG accepte 2 entrées supplémentaires (8 canaux). L'entrée de l'unet d'origine est également de 4 canaux.

Si vous voyez l'erreur suivante, cela signifie que vous utilisez le workflow FG mais que vous avez chargé le modèle BG.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

Si vous voyez l'erreur suivante, cela signifie que vous utilisez le workflow FG mais que vous avez chargé le modèle BG.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead