IC-Light는 이미지의 조명을 조작하는 프로젝트입니다.
"IC-Light"라는 이름은 "Imposing Consistency Light(일관된 빛을 임포징)" 을 의미합니다(이 페이지 끝부분에서 이에 대해 간략하게 설명하겠습니다).
현재 우리는 텍스트 조건 재조명 모델과 배경 조건 모델이라는 두 가지 유형의 모델을 출시하고 있습니다. 두 유형 모두 전경 이미지를 입력으로 사용합니다.
Flux에 대한 소식이 있습니다.
아래 스크립트는 텍스트 조건 재조명 모델을 실행합니다:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
또는 백그라운드 조건 데모를 사용하려면:
python gradio_demo_bg.py
모델 다운로드는 자동으로 이루어집니다.
"gradio_demo.py"에는 여기에 공식적인 HuggingFace Space가 있습니다.
("조명 기본 설정"은 단지 초기 잠재성입니다. 예를 들어 조명 기본 설정이 "왼쪽"인 경우 초기 잠재성은 왼쪽 흰색 오른쪽 검정색입니다.)
프롬프트: 아름다운 여성, 세밀한 얼굴, 따뜻한 분위기, 집에서, 침실
조명 환경 설정: 왼쪽
프롬프트: 아름다운 여성, 세밀한 얼굴, 창문에서 들어오는 햇빛
조명 환경 설정: 왼쪽
아름다운 여인, 상세한 얼굴, 네온, 왕가위, 따뜻한
조명 환경 설정: 왼쪽
프롬프트: 아름다운 여성, 상세한 얼굴, 햇빛, 야외, 따뜻한 분위기
조명 환경 설정: 오른쪽
프롬프트: 아름다운 여성, 상세한 얼굴, 햇빛, 야외, 따뜻한 분위기
조명 환경 설정: 왼쪽
프롬프트: 아름다운 여성, 세밀한 얼굴, 창문에서 들어오는 햇빛
조명 환경 설정: 오른쪽
프롬프트: 아름다운 여성, 상세한 얼굴, 창문에서 보이는 그림자
조명 환경 설정: 왼쪽
프롬프트: 아름다운 여성, 상세한 얼굴, 바다 위의 일몰
조명 환경 설정: 오른쪽
프롬프트: 잘생긴 소년, 상세한 얼굴, 네온 불빛, 도시
조명 환경 설정: 왼쪽
프롬프트: 아름다운 여성, 상세한 얼굴, 빛과 그림자
조명 환경 설정: 왼쪽
(아름다운 여성, 세밀한 얼굴, 부드러운 스튜디오 조명)
프롬프트: 부처님, 세밀한 얼굴, 공상과학 RGB 빛나는, 사이버펑크
조명 환경 설정: 왼쪽
프롬프트: 부처님, 세밀한 얼굴, 자연광
조명 환경 설정: 왼쪽
프롬프트: 장난감, 상세한 얼굴, 창문에서 보이는 그림자
조명 환경 설정: 하단
프롬프트: 장난감, 상세한 얼굴, 바다 위의 일몰
조명 환경 설정: 오른쪽
프롬프트: 개, 마법 조명, 공상과학 RGB 빛나는, 스튜디오 조명
조명 환경 설정: 하단
프롬프트: 신비한 인간, 따뜻한 분위기, 따뜻한 분위기, 집에서, 침실
조명 환경 설정: 오른쪽
배경 조건 모델에는 주의 깊은 프롬프트가 필요하지 않습니다. "잘생긴 남자, 영화 같은 조명"과 같은 간단한 프롬프트를 사용할 수도 있습니다.
보다 구조화된 시각화:
HDR 공간에서 조명은 모든 빛의 전달이 독립적이라는 속성을 가지고 있습니다.
결과적으로 서로 다른 광원의 모양을 혼합하는 것은 혼합된 광원을 사용한 모양과 동일합니다.
위의 조명 스테이지를 예로 사용하면 "외관 혼합"과 "광원 혼합"의 두 이미지가 일관됩니다(이상적으로는 HDR 공간에서 수학적으로 동일함).
우리는 재조명 모델을 훈련할 때 이러한 일관성(잠재 공간에서 MLP 사용)을 적용했습니다.
결과적으로, 모델은 매우 일관된 재조명을 생성할 수 있습니다. 매우 일관적이어서 다양한 재조명을 노멀 맵으로 병합할 수도 있습니다! 모델이 잠재 확산이라는 사실에도 불구하고.
왼쪽부터 오른쪽으로 입력, 모델 출력 재조명, 분할된 그림자 이미지, 병합된 노멀 맵이 있습니다. 모델은 일반 맵 데이터로 훈련되지 않습니다. 이러한 정상적인 추정은 재조명의 일관성에서 비롯됩니다.
이 버튼을 사용하여 이 실험을 재현할 수 있습니다. (이미지를 4번 다시 조명하기 때문에 4배 느립니다.)
아래는 더 큰 이미지입니다. (더 많은 결과를 얻으려면 자유롭게 시도해 보세요!)
참고로 geowizard(geowizard는 정말 대단한 작품이에요!):
그리고 스위치라이트(스위치라이트는 또 하나의 훌륭한 작품입니다!):
iclight_sd15_fc.safetensors - 텍스트와 전경을 기준으로 한 기본 재조명 모델입니다. 초기 잠재성을 사용하여 재조명에 영향을 줄 수 있습니다.
iclight_sd15_fcon.safetensors - "iclight_sd15_fc.safetensors"와 동일하지만 오프셋 노이즈로 훈련됩니다. 사용자 연구에서 기본 "iclight_sd15_fc.safetensors"가 이 모델보다 약간 더 나은 성능을 발휘한다는 점에 유의하세요. 그리고 이것이 기본 모델이 오프셋 노이즈가 없는 모델인 이유입니다.
iclight_sd15_fbc.safetensors - 텍스트, 전경 및 배경을 사용하여 모델을 다시 조명합니다.
또한 원래 BRIA RMBG 1.4는 비상업적 용도로 사용됩니다. 상업용 프로젝트에서 IC-Light를 사용하는 경우 BiRefNet과 같은 다른 배경 대체 프로그램으로 교체하세요.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}또한 읽어보세요 ...
전체 재조명: 배경 교체를 위해 인물 사진을 재조명하는 방법 배우기
기분 좋은 조화: 조명을 인식한 인물 배경 교체
SwitchLight: 인물 사진 재조명을 위한 물리 기반 아키텍처 및 사전 훈련 프레임워크의 공동 설계
