ComfyUI에 대한 기본 SDXL-EcomID 지원.
이 확장은 디퓨저를 사용하지 않고 대신 EcomID를 기본적으로 구현하며 ComfyUI와 완전히 통합됩니다.
EcomID는 의미론적 일관성과 더 큰 내부 ID 유사성(즉, 나이, 헤어스타일, 안경 또는 기타 신체적 변화에 따라 변하지 않는 특성)을 보장하는 동시에 더욱 사실적이고 심미적으로 보기 좋은 외관을 제공하여 초상화 표현을 향상시킵니다.
SDXL-EcomID 저장소에서 더 많은 쇼케이스를 볼 수 있습니다.
examples 디렉토리에는 기본 워크플로와 전용 얼굴 교환 워크플로가 모두 있습니다.
ComfyUI를 최신 버전으로 업그레이드하세요!
이 저장소를 ComfyUI/custom_nodes/ 디렉터리에 다운로드하거나 git clone 하거나 Manager를 사용하세요.
EcomID에는 insightface 필요하므로 onnxruntime 및 onnxruntime-gpu 와 함께 라이브러리에 추가해야 합니다.
모델:
PuLID 사전 훈련된 모델은 ComfyUI/models/pulid/ 에 들어갑니다(IPAdapter 형식으로 변환해 주신 Chenlei Hu에게 감사드립니다).
EVA CLIP은 EVA02-CLIP-L-14-336이지만 자동으로 다운로드해야 합니다(huggingface 디렉터리에 있음).
facexlib 종속성을 설치해야 하며 처음 사용할 때 모델이 다운로드됩니다.
AntelopeV2가 포함된 InsightFace 도 필요합니다. 압축을 푼 모델은 ComfyUI/models/insightface/models/antelopev2 에 있어야 합니다.
InstantID의 ip_adapter 모델은 HuggingFace에서 다운로드할 수 있으며 ComfyUI/models/instantid 디렉터리에 배치해야 합니다. (이 모델은 IPAdapter를 기반으로 하므로 ip_adapter 라고 합니다.)
또한 200만 개의 실제 인간 이미지에 대해 훈련된 ControlNet이 필요합니다. ComfyUI 컨트롤넷 디렉터리에 넣으세요.
우리는 200만 개의 고품질 이미지에 대해 컨트롤넷을 훈련시켰으므로 다양한 해상도의 이미지를 자유롭게 생성할 수 있습니다.
더 나은 의미론적 일관성을 달성하기 위해 더 높은 CFG 값을 설정할 수 있습니다. 1에서 7까지의 값이 허용되며 6이 권장됩니다.
사람의 포즈는 InstantID와 마찬가지로 참조 이미지에서 생성된 키포인트에 맞춰 정렬됩니다. image_kps 입력에 이미지를 보내면 다른 포즈를 얻을 수 있습니다.
EcomID 고급 노드를 사용할 수 있습니다. 현재 표준 노드와의 유일한 차이점은 IP 어댑터(PulID) 모델과 컨트롤넷에 대한 가중치를 별도로 설정할 수 있다는 것입니다.
ComfyUI_InstantID 및 PuLID_ComfyUI 리포지토리를 참조했습니다.
현재 이 모델은 EcomXL, leosams-helloworld-xl, dreamshaper-xl, stable-diffusion-xl-base-1.0 등과 같은 SDXL 기반 모델과만 호환된다는 점을 기억하세요.
SDXL Turbo/Lighting, EcomXL-Inpainting-ControlNet 및 EcomXL-Softedge-ControlNet과 매우 잘 작동합니다.
Multi-ControlNet의 결과는 아래와 같습니다.
