Эталонная реализация ComfyUI для моделей IPAdapter.
IPAdapter — это очень мощные модели для преобразования изображения в изображение. Тема или даже стиль эталонных изображений можно легко перенести в другое поколение. Думайте об этом как о лоре с одним изображением.
Спонсор Github | ПайПал
Если вам нравится моя работа и вы хотите видеть обновления и новые функции, рассмотрите возможность спонсирования моих проектов.
ComfyUI IPAdapter Plus
ComfyUI InstantID (собственный)
Основы ComfyUI
ComfyUI Анализ лица
Не говоря уже о документации и видеоуроках. Посмотрите мои видеоролики о расширенном понимании ComfyUI на YouTube, например, часть 1 и часть 2.
Единственный способ сохранить код открытым и бесплатным — это спонсировать его разработку. Чем больше спонсоров, тем больше времени я могу посвятить своим проектам с открытым исходным кодом.
Пожалуйста, рассмотрите возможность спонсорства Github или пожертвования PayPal (Маттео «matt3o» Спинелли). Если вы хотите получить спонсорскую поддержку на сумму более 50 долларов США, дайте мне знать, хотите ли вы, чтобы вас упомянули в этом файле readme. Вы можете найти меня на Discord или matt3o? gmail.com .
13.09.2024 : Исправлена неприятная ошибка в патче среднего блока, который мы носим с самого начала. К сожалению, сгенерированные изображения не будут точно такими же, как раньше. В любом случае, средний блок не имеет большого влияния, так что это не должно иметь большого значения. Это не влияет на передачу стиля или композиции, а только на линейную генерацию. Обычно я не сообщаю об исправлениях мелких ошибок, но это может привести к другим результатам, поэтому я подумал, что об этом стоит упомянуть.
02.08.2024 : Поддержка Kolors FaceIDv2. Пожалуйста, ознакомьтесь с примером рабочего процесса для получения лучших практик.
26.07.2024 : В ClipVision Enhancer добавлена поддержка пакетов изображений и анимации.
18.07.2024 : Поддержка Kolors.
17.07.2024 : Добавлен экспериментальный узел ClipVision Enhancer. Каким-то образом он был вдохновлен статьей «Масштабирование на весах», но реализация немного другая. Новый IPAdapterClipVisionEnhancer пытается уловить мелкие детали, размещая встраивания мозаикой (вместо изображения в пространстве пикселей). В результате получается визуальное встраивание с немного более высоким разрешением без снижения производительности.
11.07.2024 : Добавлен экспериментальный перенос точного состава (макета). Это не так хорошо, как стиль. embeds_scaling имеет огромное значение. Начните с силы 0,8 и повышения 0,3 в SDXL и повышения 0,6 0,35 в SD1.5.
28.06.2024 : Добавлен узел IPAdapter Precise Style Transfer . Увеличьте параметр style_boost чтобы уменьшить кровотечение слоя композиции. Важно: лучше работает в SDXL, начните с style_boost, равного 2; для SD1.5 попробуйте увеличить вес чуть больше 1,0 и установите для style_boost значение от -1 до +1, начиная с 0.
22.06.2024 : Добавлена style transfer precise , обеспечивающая меньшее кровотечение при встраивании между слоями стиля и композиции. Иногда это лучше, чем стандартная передача стиля, особенно если эталонное изображение сильно отличается от сгенерированного изображения. Работает лучше в SDXL, чем в SD1.5.
21.05.2024 : Улучшено распределение памяти при encode_batch_size . Полезно в основном для очень длинных анимаций.
02.05.2024 : Добавьте encode_batch_size в узел расширенного пакета. Это может быть полезно для анимации с большим количеством кадров, чтобы уменьшить использование VRAM во время кодирования изображения. Обратите внимание, что результаты будут немного отличаться в зависимости от размера партии.
27.04.2024 : Реорганизован IPAdapterWeights, наиболее полезный для анимации AnimateDiff.
21.04.2024 : Добавлены узлы региональной обусловленности для упрощения маскировки внимания и настройки маскированного текста.
16.04.2024 : Добавлена поддержка новой портретной нестандартной модели SDXL (ссылка ниже). Он очень сильный и имеет тенденцию игнорировать условия текста. Уменьшите CFG до 3-4 или используйте нод RescaleCFG.
(Старые обновления удалены для удобства чтения)
В каталоге примеров содержится множество рабочих процессов, охватывающих все функции IPAdapter.
Новые возможности IPадаптера
Стиль и состав IPадаптера
Следующие видеоролики посвящены предыдущей версии IPAdapter, но они по-прежнему содержат ценную информацию.
Видео по базовому использованию, ? Расширенные функции видео, ? Внимание, маскировочное видео, ? Видео «Особенности анимации»
Загрузите или клонируйте этот репозиторий в каталоге ComfyUI/custom_nodes/ или используйте Менеджер. IPAdapter всегда требует последней версии ComfyUI. Если что-то не работает, обязательно обновите. Имейте в виду, что автоматическое обновление менеджера иногда не работает, и вам может потребоваться выполнить обновление вручную.
Появился Unified Model Loader , для его работы нужно назвать файлы точно так, как описано ниже. Устаревшие загрузчики работают с любыми именами файлов, но вам придется выбирать их вручную. Модели могут быть помещены в подкаталоги.
Помните, что вы также можете использовать любое собственное местоположение, задав запись ipadapter в файле extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, скачать и переименовать
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, скачать и переименовать
clip-vit-large-patch14-336.bin, скачать и переименовать только для моделей Kolors
/ComfyUI/models/ipadapter , создайте его, если его нет.
ip-adapter_sd15.safetensors, Базовая модель, средняя прочность
ip-adapter_sd15_light_v11.bin, Модель воздействия света
ip-adapter-plus_sd15.safetensors, модель Plus, очень прочная
ip-adapter-plus-face_sd15.safetensors, Модель лица, портреты
ip-adapter-full-face_sd15.safetensors, Модель более сильного лица, не обязательно лучше
ip-adapter_sd15_vit-G.safetensors, базовая модель, требуется кодировщик bigG clip Vision
ip-adapter_sdxl_vit-h.safetensors, модель SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, модель SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, модель лица SDXL
ip-adapter_sdxl.safetensors, модель vit-G SDXL, требуется кодировщик bigG clip Vision
Устаревший ip-adapter_sd15_light.safetensors, v1.0 Модель воздействия света
Для моделей FaceID требуется insightface , вам необходимо установить его в свою среду ComfyUI. Проверьте эту проблему для получения помощи. Помните, что большинству моделей FaceID также требуется LoRA.
Чтобы Unified Loader работал, файлы должны быть названы точно так, как показано в списке ниже.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin, базовая модель FaceID
ip-adapter-faceid-plusv2_sd15.bin, FaceID плюс v2
ip-adapter-faceid-portrait-v11_sd15.bin, перенос стиля текстовой подсказки для портретов
ip-adapter-faceid_sdxl.bin, базовый FaceID SDXL
ip-адаптер-faceid-plusv2_sdxl.bin, SDXL плюс v2
ip-adapter-faceid-portrait_sdxl.bin, передача стиля текстового приглашения SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin, очень сильная передача стилей, только SDXL
Устаревший ip-adapter-faceid-plus_sd15.bin, FaceID plus v1
Устаревший ip-adapter-faceid-portrait_sd15.bin, v1 портретной модели.
Большинству моделей FaceID требуется LoRA. Если вы используете IPAdapter Unified Loader FaceID он будет загружен автоматически, если вы будете следовать соглашению об именах. В противном случае вам придется загружать их вручную. Будьте осторожны: каждая модель FaceID должна быть связана со своим собственным LoRA.
/ComfyUI/models/loras
ip-адаптер-faceid_sd15_lora.safetensors
ip-адаптер-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL плюс v2 LoRA
Устаревший ip-adapter-faceid-plus_sd15_lora.safetensors, LoRA для устаревшей модели FaceID plus v1.
Все модели можно найти на Huggingface.
Сообщество подготовило несколько интересных моделей IPAdapter.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors, общая композиция без учета стиля и содержания, подробнее здесь
ip_plus_composition_sdxl.safetensors, версия SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus для модели Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 для модели Kolors. Примечание. Kolors обучен на модели InsightFace antelopev2 , вам необходимо загрузить ее вручную и поместить в каталог models/inisghtface .
если вы знаете другие модели, сообщите мне, и я добавлю их в единый загрузчик.
В каталог примеров включено множество рабочих процессов. Пожалуйста, проверьте их, прежде чем обращаться за поддержкой.
Обычно рекомендуется снизить weight хотя бы до 0.8 и увеличить количество шагов. Чтобы повысить точность выполнения запроса, вы можете попытаться изменить тип веса в узле IPAdapter Advanced .
Я (медленно) документирую все узлы. Пожалуйста, проверьте ссылку на узлы.
Пожалуйста, проверьте устранение неполадок, прежде чем публиковать новую проблему. Также не забудьте проверить предыдущие закрытые проблемы.
