简体中文 (упрощенный китайский)
Встроенная поддержка InstantID для ComfyUI.
Это расширение отличается от многих уже доступных, поскольку оно не использует диффузоры , а вместо этого изначально реализует InstantID и полностью интегрируется с ComfyUI.
Спонсор Github | ? ПайПал
Если вам нравится моя работа и вы хотите видеть обновления и новые функции, рассмотрите возможность спонсирования моих проектов.
ComfyUI IPAdapter Plus
ComfyUI InstantID (собственный)
Основы ComfyUI
ComfyUI Анализ лица
Не говоря уже о документации и видеоуроках. Посмотрите мои видеоролики о расширенном понимании ComfyUI на YouTube, например, часть 1 и часть 2.
Единственный способ сохранить код открытым и бесплатным — это спонсировать его разработку. Чем больше спонсоров, тем больше времени я могу посвятить своим проектам с открытым исходным кодом.
Пожалуйста, рассмотрите возможность спонсорства Github или пожертвования PayPal (Маттео «matt3o» Спинелли). Если вы хотите получить спонсорскую поддержку на сумму более 50 долларов США, дайте мне знать, хотите ли вы, чтобы вас упомянули в этом файле readme. Меня можно найти на Discord или matt3o gmail.com .
27.02.2024: Добавлен шум в негативные встраивания.
26.02.2024: Исправлена небольшая, но неприятная ошибка. Результаты будут другими, и вам, возможно, придется снизить CFG.
20.02.2024: Я провел рефакторинг узлов, чтобы их было проще использовать. Это критическое обновление , предыдущие рабочие процессы больше не будут работать.
В каталоге examples вы найдете некоторые основные рабочие процессы.
** Знакомство с функциями InstantID**
Обновите ComfyUI до последней версии!
Загрузите или git clone в каталог ComfyUI/custom_nodes/ или используйте Менеджер.
Для InstantID требуется insightface , вам необходимо добавить его в свои библиотеки вместе с onnxruntime и onnxruntime-gpu .
Модель InsightFace — antelopev2 (а не классический buffalo_l). Загрузите модели (например отсюда или отсюда), разархивируйте и поместите их в каталог ComfyUI/models/insightface/models/antelopev2 .
Основную модель можно загрузить с HuggingFace и поместить в каталог ComfyUI/models/instantid . (Обратите внимание, что модель называется ip_adapter , поскольку она основана на IPAdapter).
Вам также понадобится сеть управления, поместите ее в каталог сети управления ComfyUI.
Помните, что на данный момент это только для SDXL.
Данные обучения полны водяных знаков, чтобы они не появлялись в ваших поколениях, используйте разрешение, немного отличающееся от 1024×1024 (или стандартных), например, 1016×1016 работает очень хорошо.
Важно снизить CFG как минимум до 4/5, иначе вы можете использовать нод RescaleCFG .
Поза человека определяется на основе ключевых точек, созданных на основе эталонного изображения. Вы можете использовать другую позу, отправив изображение на вход image_kps .
Реализация InstantID по умолчанию, кажется, действительно сжигает изображение. Я обнаружил, что, добавляя шум к негативным встраиваниям, мы можем смягчить эффект, а также повысить вероятность ссылки. Нод Apply InstantID по умолчанию автоматически вводит 35% шума. Если вы хотите точно настроить эффект, вы можете использовать узел Advanced InstantID.
Это все еще экспериментальный вариант и может измениться в будущем.
Вы можете добавить в генерацию больше управляющих сетей. Приведен пример рабочего процесса для сети контроля глубины.
Можно стилизовать композицию с помощью IPAdapter. Приведен пример.
Multi-ID поддерживается, но рабочий процесс немного сложнее, а генерация медленнее. Я проверю, смогу ли я найти лучший способ сделать это. «Хакерский» рабочий процесс представлен в каталоге примеров.
Доступен расширенный узел InstantID, на данный момент единственное отличие от стандартного заключается в том, что вы можете устанавливать веса для моделей InstantID и контрольной сети отдельно. Теперь он также включает опцию впрыска шума. Это может быть полезно для тонкой настройки.
Модель InstantID влияет на состав около 25%, остальное — контрольная сеть.
Шум помогает уменьшить эффект «ожога».
Он очень хорошо работает с SDXL Turbo/Lighting. Лучшие результаты с контрольно-пропускными пунктами сообщества.
Только благодаря щедрым спонсорам все сообщество может наслаждаться открытым и бесплатным программным обеспечением. Пожалуйста, присоединяйтесь ко мне и поблагодарите следующие компании и частных лиц!
RunComfy (Облако ComfyUI)
Эйстейн Ø. Олсен
Джек Гейн
Натан Шипли
Дкднзия
И все мои государственные и частные спонсоры!
