ComfyUI IC Light Native

ComfyUI-IC-라이트-네이티브

IC-Light의 ComfyUI 기본 구현.

설치하다

저장소를 다운로드하고 ComfyUI 설치 디렉터리의 custom_nodes 폴더에 압축을 풉니다.

또는 ComfyUI 설치 디렉터리에서 시작하여 GIT를 통해 복제합니다.

 cd custom_nodes
git clone [email protected]:huchenlei/ComfyUI-IC-Light-Native.git

모델 다운로드

IC-Light 메인 저장소는 디퓨저를 기반으로 합니다. ComfyUI에서 UnetLoader를 사용하여 로드하려면 state_dict 키를 ldm 형식으로 변환해야 합니다. 여기에서 ldm 키가 있는 모델을 다운로드할 수 있습니다: https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

2가지 모델이 있습니다:

• iclight_sd15_fc_unet_ldm: FG 작업 흐름에서 사용합니다.
• iclight_sd15_fbc_unet_ldm: BG 워크플로에서 사용합니다.

이러한 모델을 다운로드한 후 ComfyUI/models/unet 에 넣고 UNETLoader 노드를 사용하여 로드하세요.

권장 노드

• ComfyUI-KJNodes: 라이트맵 생성을 위한 다양한 마스크 노드를 제공합니다.
• ComfyUI-Easy-Use: 모든 것이 포함된 거대한 노드 팩입니다. 워크플로에 사용되는 제거 bg 노드는 이 팩에서 제공됩니다.
• ComfyUI_essentials: 유용한 도구 노드가 많이 있습니다. 워크플로에 사용되는 이미지 크기 조정 노드는 이 팩에서 제공됩니다.
• ComfyUI-IC-Light: kijai의 IC-Light 구현입니다. 여기에는 입력 fg 이미지에서 고주파수 세부 정보를 사전에 방지하는 데 도움이 되는 매우 유용한 DetailTransfer 노드가 포함되어 있습니다.

워크플로우

VAE에 전달하기 전에 fg 이미지의 마스크/투명 영역이 회색인지 확인하십시오. 그렇지 않으면 FC 워크플로에서 배경이 흐려지거나 FBC 워크플로에서 배경이 어두워집니다. IC Light Apply Mask Grey 사용하여 마스크된 영역의 색상이 올바른지 확인할 수 있습니다. 다음 예를 참조하세요.

FG가 주어지면 BG를 생성하고 다시 조명합니다.

fg 객체의 원래 색상을 유지하려면 fg 객체를 잠재 공간에 배치하여 생성을 추가로 안내할 수 있습니다. 작업 흐름

FG와 라이트맵이 주어지면 BG를 생성하고 다시 조명합니다.

오른쪽에서 오는 빛

왼쪽에서 빛

FG와 BG가 주어지면 FG를 BG에 놓고 다시 켜십시오.

원본 입력 이미지에서 고주파 세부정보(텍스트 등) 복구

• 입력 이미지:
• 원시 생성:
• 세부정보 이전 후:

일반적인 문제

IC-Light의 unet은 일반적인 잡음 입력 외에 추가 입력을 허용합니다. FG 모델은 추가로 1개의 입력(4채널)을 수용합니다. BG 모델은 2개의 추가 입력(8채널)을 허용합니다. 원래 unet의 입력도 4채널입니다.

다음 오류가 표시되면 FG 작업 흐름을 사용하고 있지만 BG 모델을 로드했다는 의미입니다.

 RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

다음 오류가 표시되면 FG 작업 흐름을 사용하고 있지만 BG 모델을 로드했다는 의미입니다.

 RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead