Цзинань Го*, Яньцзэ Ву*✝, Чжуовэй Чен, Лан Чен, Пэн Чжан, Цянь Хэ
(*Равный вклад, ✝Автор, ответственный за переписку)
БайтДанс Инк
31.10.2024 : Мы рады представить наши последние модели PuLID-v1.1 и PuLID-FLUX-v0.9.1 . Дополнительную информацию см. в разделе Модельный зоопарк и модель pulid v1.1. Мы также обновляем новую редакцию документа arXiv, которая включает больше результатов, деталей и анализа. Пожалуйста, ознакомьтесь с ней.
2024.09.26 : PuLID принят NeurIPS 2024.
2024.09.12 : Мы рады сообщить о выпуске модели PuLID-FLUX-v0.9.0 . Наслаждайтесь изучением его возможностей! ? Узнайте больше об этой модели
2024.05.23 : поделитесь предварительным просмотром нашей будущей модели v1.1, следите за обновлениями
2024.05.01 : выпуск кодов и моделей v1, а также демо-версия HuggingFace.
2024.04.25 : выпуск статьи arXiv.
Пожалуйста, ознакомьтесь с документацией и демо-версией PuLID-FLUX здесь.
Мы будем активно обновлять и поддерживать этот репозиторий в ближайшем будущем, поэтому, пожалуйста, следите за обновлениями.
Демо-версия локального градиента готова.
Онлайн-демо HuggingFace уже готово
Мы оптимизировали коды для поддержки графических процессоров потребительского уровня, и теперь PuLID-FLUX может работать на графической карте объемом 16 ГБ . Подробности здесь
(Внедрение сообществом) Демо-версия онлайн-репликации уже готова.
Локальная демо-версия Gradio теперь поддерживает графическую карту объемом 12 ГБ.
v0.9.1 уже готова
Ниже приведены результаты, полученные с помощью PuLID-FLUX.
Изображения, созданные с помощью наших приложений PuLIDApplications
| Версия | Базовая модель | Описание |
|---|---|---|
| ПуЛИД-v1 | SDXL | Бумажная модель. |
| ПуЛИД-v1.1 | SDXL | По сравнению с PuLID-v1, лучшая совместимость, редактируемость, естественность лица и сходство. |
| ПуЛИД-FLUX-v0.9.0 | ПОТОК | Наша первая версия для PuLID-FLUX, улучшенное отслеживание подсказок и качество изображения (поскольку FLUX более мощный, чем SDXL). Но точность идентификации недостаточно высока для некоторых мужских входных данных. |
| ПуЛИД-FLUX-v0.9.1 | ПОТОК | По сравнению с PuLID-FLUX-v0.9.0 более высокая точность идентификации. По количественному показателю сходства идентификаторов улучшение составляет около 5 процентных пунктов. При этом возможности редактирования остаются такими же, как и раньше. |
Python >= 3.9 (рекомендуется использовать Anaconda или Miniconda)
PyTorch >= 2.0, если вам не нужен flux-dev-fp8, в противном случае PyTorch >= 2.4.1
# клонировать PuLID repogit clone https://github.com/ToTheBeginning/PuLID.gitcd PuLID# create conda envconda create --name pulid python=3.10# active envconda active pulid# Установить зависимые пакеты# 1. если вам не нужен Flux -fp8, например, вы используете xl или flux-bf16, установите следующие требования.txtpip install -r требования.txt# 2. если вам нужен flux-fp8 (чтобы установить Flux на графический процессор потребительского уровня), установите следующий файл require_fp8.txtpip install -r require_fp8.txt
# для версии v1python app.py# для версии v1.1python app_v1.1.py --base BASE_MODEL Использование: -base: может быть RunDiffusion/Juggernaut-XL-v9 или Lykon/dreamshaper-xl-lightning
Спасибо за грант на использование графического процессора от команды HuggingFace. Вы можете попробовать демо-версию PuLID HF на https://huggingface.co/spaces/yanze/PuLID.
Ниже приведены некоторые сторонние реализации PuLID, которые мы нашли в Интернете. Мы ценим усилия соответствующих разработчиков по обеспечению доступности PuLID для более широкой аудитории. Если есть какие-либо ресурсы и приложения на основе PuLID, которые мы здесь не упомянули, сообщите нам, и мы включим их в этот список.
Colab : https://github.com/camenduru/PuLID-jupyter, предоставлено camenduru.
Репликация (PuLID) : https://replication.com/zsxkib/pulid, предоставленная zsxkib.
Репликация (PuLID-FLUX) : https://replication.com/zsxkib/flux-pulid, предоставлено zsxkib.
https://github.com/cubiq/PuLID_ComfyUI, предоставленный Cubiq, собственная реализация ComfyUI
https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO, предоставлено ZHO, реализация на основе диффузоров
Mikubill/sd-webui-controlnet#2838 предоставлено huchenlei
Этот проект стремится оказать положительное влияние на область создания изображений с помощью искусственного интеллекта. Пользователям предоставляется свобода создавать изображения с помощью этого инструмента, но они должны соблюдать местные законы и использовать его ответственно. Разработчики не несут никакой ответственности за возможное неправильное использование пользователями.
Если PuLID полезен, пожалуйста, помогите ⭐ репозиторию.
Если вы считаете этот проект полезным для своих исследований, пожалуйста, процитируйте нашу статью:
@article{guo2024pulid, title={PuLID: настройка идентификатора Pure and Lightning посредством контрастного выравнивания}, автор={Го, Зинань и Ву, Янце и Чен, Чжуовэй и Чен, Лан и Хэ, Цянь}, журнал={препринт arXiv arXiv :2404.16022}, год={2024}}Если у вас есть какие-либо комментарии или вопросы, откройте новый выпуск или свяжитесь с Янзе Ву и Цзинань Го.
