Встроенная поддержка SDXL-EcomID для ComfyUI.
Это расширение не использует диффузоры , а вместо этого изначально реализует EcomID и полностью интегрируется с ComfyUI.
EcomID улучшает портретное представление, обеспечивая более аутентичный и эстетически привлекательный внешний вид, обеспечивая при этом семантическую согласованность и большее внутреннее сходство идентификаторов (т. е. черты, которые не меняются с возрастом, прической, очками или другими физическими изменениями).
Больше витрин вы можете увидеть в репозитории SDXL-EcomID.
В каталоге examples вы найдете как базовый рабочий процесс, так и специальный рабочий процесс по замене лиц.
Обновите ComfyUI до последней версии!
Загрузите или git clone в каталог ComfyUI/custom_nodes/ или используйте Менеджер.
Для EcomID требуется insightface , вам нужно добавить его в свои библиотеки вместе с onnxruntime и onnxruntime-gpu .
Модели:
Предварительно обученная модель PuLID находится в ComfyUI/models/pulid/ (спасибо Чэнли Ху за преобразование их в формат IPAdapter)
EVA CLIP — EVA02-CLIP-L-14-336, но его следует загрузить автоматически (он будет расположен в каталоге Huggingface).
Необходимо установить зависимость facexlib , модели загружаются при первом использовании
Вам также понадобится InsightFace с AntelopeV2, разархивированные модели следует поместить в ComfyUI/models/insightface/models/antelopev2
Модель ip_adapter для InstantID можно загрузить с HuggingFace и поместить в каталог ComfyUI/models/instantid . (Обратите внимание, что модель называется ip_adapter , поскольку она основана на IPAdapter).
Вам также понадобится ControlNet, обученная на двух миллионах реальных изображений людей. Пожалуйста, поместите его в каталог сети управления ComfyUI.
Не стесняйтесь генерировать изображения в различных разрешениях, поскольку мы обучили управляющую сеть 2 миллионам изображений высокого качества.
Вы можете установить более высокое значение CFG, чтобы добиться еще большей семантической согласованности. Допустимы значения от 1 до 7, рекомендуется 6.
Поза человека выравнивается по ключевым точкам, созданным на основе эталонного изображения, как и в InstantID. Вы можете добиться другой позы, отправив изображение на вход image_kps .
Доступна расширенная нода EcomID, на данный момент единственное отличие от стандартной заключается в том, что вы можете задавать веса для моделей ip-адаптера (PulID) и controlnet отдельно.
Ссылка на следующие репозитории: ComfyUI_InstantID и PuLID_ComfyUI.
Помните, что на данный момент это совместимо только с моделями на базе SDXL, такими как EcomXL, leosams-helloworld-xl, Dreamshaper-xl, Stable-Diffusion-xl-base-1.0 и так далее.
Он очень хорошо работает с SDXL Turbo/Lighting, EcomXL-Inpainting-ControlNet и EcomXL-Softedge-ControlNet.
Результаты Multi-ControlNet показаны ниже:
