IPAdapter 모델을 위한 ComfyUI 참조 구현입니다.
IPAdapter는 이미지 대 이미지 조절을 위한 매우 강력한 모델입니다. 참조 이미지의 주제나 스타일만 세대에 쉽게 전달할 수 있습니다. 1개의 이미지 로라라고 생각하세요.
Github 스폰서 | 페이팔
내 작업이 마음에 들고 업데이트와 새로운 기능을 보고 싶다면 내 프로젝트 후원을 고려해 보세요.
ComfyUI IPAdapter 플러스
ComfyUI InstantID(네이티브)
ComfyUI 필수사항
ComfyUI 얼굴 분석
문서와 비디오 튜토리얼은 말할 것도 없습니다. 예를 들어 1부 및 2부와 같은 YouTube의 ComfyUI 고급 이해 동영상을 확인하세요.
코드를 개방적이고 무료로 유지하는 유일한 방법은 개발을 후원하는 것입니다. 후원이 많을수록 오픈 소스 프로젝트에 더 많은 시간을 할애할 수 있습니다.
Github 후원이나 PayPal 기부(Matteo "matt3o" Spinelli)를 고려해 보세요. $50 이상의 후원에 대해 이 추가 정보 파일에 언급되기를 원하시면 저에게 알려주십시오. Discord 또는 matt3o에서 저를 찾을 수 있습니다. gmail.com .
2024/09/13 : 처음부터 가지고 있던 중간 블록 패치의 불쾌한 버그를 수정했습니다. 불행하게도 생성된 이미지는 이전과 정확히 동일하지 않습니다. 어쨌든 중간 블록은 큰 영향을 미치지 않으므로 크게 문제가 되지는 않을 것입니다. 스타일이나 컴포지션 전송에는 영향을 주지 않으며 선형 세대에만 영향을 미칩니다. 나는 일반적으로 작은 버그 수정에 대해 보고하지 않지만 이 수정으로 인해 다른 결과가 발생할 수 있으므로 언급할 가치가 있다고 생각했습니다.
2024/08/02 : Kolors FaceIDv2를 지원합니다. 모범 사례는 예시 워크플로를 확인하세요.
2024/07/26 : ClipVision Enhancer에 이미지 배치 및 애니메이션에 대한 지원이 추가되었습니다.
2024/07/18 : 컬러스를 지원합니다.
2024/07/17 : 실험적인 ClipVision Enhancer 노드가 추가되었습니다. 이는 Scaling on Scales 논문에서 영감을 얻었지만 구현은 약간 다릅니다. 새로운 IPAdapterClipVisionEnhancer는 (픽셀 공간의 이미지 대신) 임베드를 타일링하여 작은 세부 사항을 포착하려고 시도하며 그 결과 성능 비용 없이 약간 더 높은 해상도의 시각적 임베딩을 얻을 수 있습니다.
2024/07/11 : 실험적인 정밀 구성(레이아웃) 전송을 추가했습니다. 스타일만큼 좋지는 않습니다. embeds_scaling 큰 영향을 미칩니다. 강도 0.8로 시작하여 SDXL에서 0.3을 부스트하고 SD1.5에서 0.6을 사용하여 0.35를 부스트합니다.
2024/06/28 : IPAdapter Precise Style Transfer 노드를 추가했습니다. 컴포지션 레이어의 번짐을 낮추려면 style_boost 옵션을 늘립니다. 중요: SDXL에서 더 잘 작동합니다. style_boost 2로 시작하세요. SD1.5의 경우 가중치를 1.0보다 약간 높이고 style_boost를 0부터 시작하여 -1과 +1 사이의 값으로 설정하십시오.
2024/06/22 : style transfer precise 추가되어 스타일 레이어와 컴포지션 레이어 사이의 삽입이 더 적게 블리딩됩니다. 특히 참조 이미지가 생성된 이미지와 매우 다른 경우 표준 스타일 전송보다 더 나은 경우도 있습니다. SD1.5보다 SDXL에서 더 잘 작동합니다.
2024/05/21 : encode_batch_size 시 메모리 할당이 개선되었습니다. 주로 매우 긴 애니메이션에 유용합니다.
2024/05/02 : 고급 배치 노드에 encode_batch_size 추가합니다. 이는 이미지 인코딩 중 VRAM 사용량을 줄이기 위해 프레임이 많은 애니메이션에 유용할 수 있습니다. 배치 크기에 따라 결과가 약간 다를 수 있음을 참고하세요.
2024/04/27 : AnimateDiff 애니메이션에 주로 유용한 IPAdapterWeights를 리팩터링했습니다.
2024/04/21 : 어텐션 마스킹 및 마스크된 텍스트 조절을 단순화하기 위해 지역 조절 노드를 추가했습니다.
2024/04/16 : 새로운 SDXL Portrait Unnorm 모델에 대한 지원이 추가되었습니다(아래 링크). 매우 강력하며 텍스트 조건을 무시하는 경향이 있습니다. CFG를 3-4로 낮추거나 RescaleCFG 노드를 사용하십시오.
(가독성을 위해 이전 업데이트가 제거됨)
예제 디렉터리에는 모든 IPAdapter 기능을 다루는 많은 워크플로가 있습니다.
새로운 IPAdapter 기능
IPAdapter 스타일 및 구성
다음 영상은 이전 버전의 IPAdapter에 관한 것이지만 여전히 귀중한 정보를 담고 있습니다.
기본 사용법 영상, ? 고급 기능 비디오, ? 마스킹 영상 주의, ? 애니메이션 기능 비디오
ComfyUI/custom_nodes/ 디렉토리 내에서 이 저장소를 다운로드하거나 git clone하거나 Manager를 사용하십시오. IPAdapter에는 항상 최신 버전의 ComfyUI가 필요합니다. 뭔가가 작동하지 않으면 업그레이드하십시오. 관리자의 자동 업데이트가 때때로 작동하지 않아 수동으로 업그레이드해야 할 수도 있다는 점에 유의하세요.
이제 통합 모델 로더가 있습니다. 이를 작동하려면 아래 설명된 대로 정확하게 파일 이름을 지정해야 합니다. 레거시 로더는 모든 파일 이름에서 작동하지만 수동으로 선택해야 합니다. 모델은 하위 디렉토리에 배치될 수 있습니다.
extra_model_paths.yaml 파일에서 ipadapter 항목을 설정하는 사용자 정의 위치를 사용할 수도 있습니다.
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, 다운로드 및 이름 바꾸기
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, 다운로드 및 이름 바꾸기
Clip-vit-large-patch14-336.bin, Kolors 모델에 대해서만 다운로드 및 이름 바꾸기
/ComfyUI/models/ipadapter , 없으면 만듭니다.
ip-adapter_sd15.safetensors, 기본 모델, 평균 강도
ip-adapter_sd15_light_v11.bin, 가벼운 충격 모델
ip-adapter-plus_sd15.safetensors, Plus 모델, 매우 강력함
ip-adapter-plus-face_sd15.safetensors, 얼굴 모델, 인물 사진
ip-adapter-full-face_sd15.safetensors, 더 강한 얼굴 모델, 반드시 더 나은 것은 아닙니다
ip-adapter_sd15_vit-G.safetensors, 기본 모델, bigG 클립 비전 인코더 필요
ip-adapter_sdxl_vit-h.safetensors, SDXL 모델
ip-adapter-plus_sdxl_vit-h.safetensors, SDXL 플러스 모델
ip-adapter-plus-face_sdxl_vit-h.safetensors, SDXL 얼굴 모델
ip-adapter_sdxl.safetensors, vit-G SDXL 모델, bigG 클립 비전 인코더 필요
더 이상 사용되지 않는 ip-adapter_sd15_light.safetensors, v1.0 가벼운 영향 모델
FaceID 모델에는 insightface 필요하므로 ComfyUI 환경에 이를 설치해야 합니다. 도움이 필요하면 이 문제를 확인하세요. 대부분의 FaceID 모델에도 LoRA가 필요하다는 점을 기억하세요.
통합 로더가 작동하려면 파일 이름을 아래 목록에 표시된 대로 정확하게 지정해야 합니다.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, 기본 FaceID 모델
ip-adapter-faceid-plusv2_sd15.bin, FaceID 플러스 v2
ip-adapter-faceid-portrait-v11_sd15.bin, 인물 사진용 텍스트 프롬프트 스타일 전송
ip-adapter-faceid_sdxl.bin, SDXL 기본 FaceID
IP-어댑터-faceid-plusv2_sdxl.bin, SDXL 플러스 v2
ip-adapter-faceid-portrait_sdxl.bin, SDXL 텍스트 프롬프트 스타일 전송
ip-adapter-faceid-portrait_sdxl_unnorm.bin, 매우 강력한 스타일 전송 SDXL 전용
더 이상 사용되지 않는 ip-adapter-faceid-plus_sd15.bin, FaceID plus v1
세로 모델의 v1, 더 이상 사용되지 않는 ip-adapter-faceid-portrait_sd15.bin
대부분의 FaceID 모델에는 LoRA가 필요합니다. IPAdapter Unified Loader FaceID 사용하는 경우 명명 규칙을 따르면 자동으로 로드됩니다. 그렇지 않으면 수동으로 로드해야 하며, 각 FaceID 모델이 고유한 특정 LoRA와 쌍을 이루어야 한다는 점에 주의하세요.
/ComfyUI/models/loras
IP-어댑터-faceid_sd15_lora.safetensors
IP-어댑터-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL 플러스 v2 LoRA
더 이상 사용되지 않는 FaceID plus v1 모델 용 ip-adapter-faceid-plus_sd15_lora.safetensors, LoRA
모든 모델은 Huggingface에서 찾아보실 수 있습니다.
커뮤니티에서는 몇 가지 흥미로운 IPAdapter 모델을 구웠습니다.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, 스타일과 내용을 무시한 일반 구성, 여기에 대한 자세한 내용
ip_plus_composition_sdxl.safetensors, SDXL 버전
Kolors-IP-Adapter-Plus.bin, Kolors 모델용 IPAdapter Plus
Kolors-IP-Adapter-FaceID-Plus.bin, Kolors 모델용 IPAdapter FaceIDv2. 참고: Kolors는 InsightFace antelopev2 모델에 대해 교육을 받았으므로 수동으로 다운로드하여 models/inisghtface 디렉터리에 배치해야 합니다.
다른 모델을 알고 계시다면 알려주시면 통합 로더에 추가하겠습니다.
예제 디렉터리에는 많은 워크플로가 포함되어 있습니다. 지원을 요청하기 전에 확인하시기 바랍니다.
일반적으로 weight 0.8 이상으로 낮추고 단계 수를 늘리는 것이 좋습니다. 프롬프트 준수율을 높이려면 IPAdapter Advanced 노드에서 가중치 유형을 변경해 보세요.
나는 (천천히) 모든 노드를 문서화하고 있습니다. 노드 참조를 확인하세요.
새로운 문제를 게시하기 전에 문제 해결을 확인하십시오. 또한 이전에 종료된 문제를 확인하는 것도 잊지 마세요.
