ComfyUI IC Light Native

ComfyUI-IC-Light-Native

ComfyUI native Implementierung von IC-Light.

Installieren

Laden Sie das Repository herunter und entpacken Sie es in den Ordner „custom_nodes“ im ComfyUI-Installationsverzeichnis.

Oder klonen Sie über GIT, beginnend im ComfyUI-Installationsverzeichnis:

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

Modelle herunterladen

Das Hauptrepo von IC-Light basiert auf Diffusoren. Um es mit UnetLoader in ComfyUI zu laden, müssen state_dict-Schlüssel in das LDM-Format konvertiert werden. Modelle mit LDM-Schlüsseln können Sie hier herunterladen: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

Es gibt 2 Modelle:

• iclight_sd15_fc_unet_ldm: Verwenden Sie dies in FG-Workflows
• iclight_sd15_fbc_unet_ldm: Verwenden Sie dies in BG-Workflows

Nachdem Sie diese Modelle heruntergeladen haben, legen Sie sie bitte unter ComfyUI/models/unet ab und laden Sie sie mit UNETLoader Knoten.

Empfohlene Knoten

• ComfyUI-KJNodes: Bietet verschiedene Maskenknoten zum Erstellen einer Lichtkarte.
• ComfyUI-Easy-Use: Ein riesiges Node-Paket mit allem. Der im Workflow verwendete Remove-BG-Knoten stammt aus diesem Paket.
• ComfyUI_essentials: Viele nützliche Tooling-Knoten. Der im Workflow verwendete Bildgrößenänderungsknoten stammt aus diesem Paket.
• ComfyUI-IC-Light: Das IC-Light-Impl von kijai. Es enthält einen sehr nützlichen DetailTransfer Knoten, der dabei hilft, hochfrequente Details aus dem Eingabe-FG-Bild zu erhalten.

Arbeitsabläufe

Bitte stellen Sie sicher, dass der maskierte/transparente Bereich des FG-Bildes grau ist, bevor Sie es an die VAE übergeben. Andernfalls wird der Hintergrund in FC-Workflows verdeckt oder der Hintergrund in FBC-Workflows abgedunkelt. Sie können IC Light Apply Mask Grey verwenden, um sicherzustellen, dass die Farbe des maskierten Bereichs korrekt ist. Siehe folgende Beispiele:

Gegeben FG, Generieren Sie BG und zünden Sie erneut an

Wenn Sie die ursprüngliche Farbe des fg-Objekts beibehalten möchten, können Sie das fg-Objekt im latenten Raum platzieren, um die Generierung weiter zu steuern. Arbeitsablauf

Bei gegebener FG und Lichtkarte, BG generieren und neu zünden

Licht von rechts

Licht von links

Wenn FG und BG gegeben sind, setzen Sie FG auf BG und zünden Sie es erneut an

Stellen Sie hochfrequente Details (Text usw.) aus dem ursprünglichen Eingabebild wieder her

• Eingabebild:
• Roherzeugung:
• Nach Detailübertragung:

Häufige Probleme

Die Einheit von IC-Light akzeptiert zusätzlich zum üblichen Rauscheingang zusätzliche Eingänge. Das FG-Modell akzeptiert einen zusätzlichen Eingang (4 Kanäle). Das BG-Modell akzeptiert 2 zusätzliche Eingänge (8 Kanäle). Der Eingang des ursprünglichen Geräts besteht ebenfalls aus 4 Kanälen.

Wenn die folgende Fehlermeldung angezeigt wird, bedeutet dies, dass Sie den FG-Workflow verwenden, aber das BG-Modell geladen haben.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

Wenn die folgende Fehlermeldung angezeigt wird, bedeutet dies, dass Sie den FG-Workflow verwenden, aber das BG-Modell geladen haben.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead