郭子楠*、吳彥澤*✝、陳卓偉、陳朗、張鵬、何謙
(*平等貢獻,✝通訊作者)
位元組跳動公司
2024.10.31 : 我們很高興發布最新模型PuLID-v1.1和PuLID-FLUX-v0.9.1 。更多資訊請參閱 Model Zoo 和 pulid v1.1 模型。我們還更新了 arXiv 論文的新修訂版,其中包括更多結果、細節和分析,請查看。
2024.09.26 : PuLID 被 NeurIPS 2024 接受
2024.09.12 :我們很高興地宣布發布PuLID-FLUX-v0.9.0 模型。享受探索其功能的樂趣! ?了解有關此模型的更多信息
2024.05.23 : 分享我們即將推出的v1.1模型預覽,敬請期待
2024.05.01 : 發布 v1 程式碼和模型,以及 ?HuggingFace 演示
2024年4月25日:發布arXiv論文。
請在此處查看 PuLID-FLUX 的文檔和示範。
我們將在不久的將來積極更新和維護該儲存庫,敬請關注。
本地漸層示範現已準備就緒
線上 HuggingFace 演示現已準備就緒
我們優化了程式碼以支援消費級 GPU,現在PuLID-FLUX 可以在 16GB 顯示卡上運行。請在此處查看詳細信息
(社區實施)線上複製演示現已準備就緒
本地gradio demo現在支援12GB顯示卡
v0.9.1 現已準備就緒
以下結果是使用 PuLID-FLUX 產生的。
使用我們的 PuLIDApplications 產生的圖像
版本 | 基本型號 | 描述 |
---|---|---|
PuLID-v1 | SDXL | 紙模型。 |
PuLID-v1.1 | SDXL | 比起PuLID-v1,相容性、可編輯性、臉部自然度、相似度較好。 |
PuLID-FLUX-v0.9.0 | 通量 | 我們的 PuLID-FLUX 的第一個版本,具有更好的提示跟隨性和影像品質(因為 FLUX 比 SDXL 更強大)。但對於某些男性輸入來說,ID 保真度不夠高 |
PuLID-FLUX-v0.9.1 | 通量 | 與PuLID-FLUX-v0.9.0相比,ID保真度較好。從ID相似度的量化指標來看,提升幅度約為5個百分點。同時,可編輯性仍然與以前相似。 |
Python >= 3.9 (推薦使用 Anaconda 或 Miniconda)
如果不需要 Flux-dev-fp8,則 PyTorch >= 2.0,否則 PyTorch >= 2.4.1
# clone PuLID repogit clone https://github.com/ToTheBeginning/PuLID.gitcd PuLID# create conda envconda create --name pulid python=3.10# activate envconda activate pulid# 安裝依賴套件# 1.如果不需要依賴套件 -8例如,您使用的是xl或flux-bf16,請安裝以下requirements.txtpip install -rrequirements.txt# 2.如果您需要flux-fp8(將flux放在消費級gpu上),請安裝以下requirements_fp8 .txtpip install -rrequirements_fp8.txt
# 對於 v1 版本python app.py# 對於 v1.1 版本python app_v1.1.py --base BASE_MODEL 用法: -base:可以是 RunDiffusion/Juggernaut-XL-v9 或 Lykon/dreamshaper-xl-lightning
感謝 HuggingFace 團隊的 GPU 資助,您可以在 https://huggingface.co/spaces/yanze/PuLID 中嘗試 PuLID HF 演示
以下是我們在互聯網上找到的一些 PuLID 的第三方實作。我們感謝各個開發人員為讓更廣泛的受眾能夠使用 PuLID 所做的努力。如果有任何我們在此未提及的基於 PuLID 的資源和應用程序,請告知我們,我們會將它們包含在此列表中。
Colab :https://github.com/camenduru/PuLID-jupyter 由camenduru提供
複製(PuLID) :https://replicate.com/zsxkib/pulid 由 zsxkib 提供
複製(PuLID-FLUX) :https://replicate.com/zsxkib/flux-pulid 由 zsxkib 提供
https://github.com/cubiq/PuLID_ComfyUI 由 cubiq 提供,原生 ComfyUI 實現
https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO 由 ZHO 提供,基於擴散器的實現
Mikubill/sd-webui-controlnet#2838 由 huchenlei 提供
該專案致力於對人工智慧驅動的圖像生成領域產生積極影響。使用者可以自由地使用此工具創建圖像,但他們應該遵守當地法律並負責任地使用它。開發者對使用者潛在的誤用不承擔任何責任。
如果 PuLID 有幫助,請幫助 ⭐ 倉庫。
如果您發現該專案對您的研究有用,請考慮引用我們的論文:
@article{guo2024pulid, title={PuLID: 透過對比對齊進行Pure 和Lightning ID 客製化},author={Guo, Zinan 和Wu, Yanze 和Chen, Zhuowei 和Chen, Lang andHe, Chen}, Journal={arXiv 預印本arXiv :2404.16022},年份={2024}}
如果您有任何意見或疑問,請開啟新問題或隨時聯絡吳彥澤和郭子南。