郭子楠*、吴彦泽*✝、陈卓伟、陈朗、张鹏、何谦
(*平等贡献,✝通讯作者)
字节跳动公司
2024.10.31 : 我们很高兴发布最新模型PuLID-v1.1和PuLID-FLUX-v0.9.1 。更多信息请参阅 Model Zoo 和 pulid v1.1 模型。我们还更新了 arXiv 论文的新修订版,其中包括更多结果、细节和分析,请查看。
2024.09.26 : PuLID 被 NeurIPS 2024 接受
2024.09.12 :我们很高兴地宣布发布PuLID-FLUX-v0.9.0 模型。享受探索其功能的乐趣! ?了解有关此模型的更多信息
2024.05.23 : 分享我们即将推出的v1.1模型预览,敬请期待
2024.05.01 : 发布 v1 代码和模型,以及 ?HuggingFace 演示
2024年4月25日:发布arXiv论文。
请在此处查看 PuLID-FLUX 的文档和演示。
我们将在不久的将来积极更新和维护该存储库,敬请关注。
本地渐变演示现已准备就绪
在线 HuggingFace 演示现已准备就绪
我们优化了代码以支持消费级 GPU,现在PuLID-FLUX 可以在 16GB 显卡上运行。请在此处查看详细信息
(社区实施)在线复制演示现已准备就绪
本地gradio demo现在支持12GB显卡
v0.9.1 现已准备就绪
以下结果是使用 PuLID-FLUX 生成的。
使用我们的 PuLIDApplications 生成的图像
版本 | 基础型号 | 描述 |
---|---|---|
PuLID-v1 | SDXL | 纸模型。 |
PuLID-v1.1 | SDXL | 相比PuLID-v1,兼容性、可编辑性、面部自然度、相似度更好。 |
PuLID-FLUX-v0.9.0 | 通量 | 我们的 PuLID-FLUX 的第一个版本,具有更好的提示跟随性和图像质量(因为 FLUX 比 SDXL 更强大)。但对于某些男性输入来说,ID 保真度不够高 |
PuLID-FLUX-v0.9.1 | 通量 | 与PuLID-FLUX-v0.9.0相比,ID保真度更好。从ID相似度的量化指标来看,提升幅度约为5个百分点。同时,可编辑性仍然与以前相似。 |
Python >= 3.9 (推荐使用 Anaconda 或 Miniconda)
如果不需要 Flux-dev-fp8,则 PyTorch >= 2.0,否则 PyTorch >= 2.4.1
# clone PuLID repogit clone https://github.com/ToTheBeginning/PuLID.gitcd PuLID# create conda envconda create --name pulid python=3.10# activate envconda activate pulid# 安装依赖包# 1.如果不需要flux -fp8,例如,您使用的是xl或flux-bf16,请安装以下requirements.txtpip install -rrequirements.txt# 2.如果您需要flux-fp8(将flux放在消费级gpu上),请安装以下requirements_fp8 .txtpip install -r requests_fp8.txt
# 对于 v1 版本python app.py# 对于 v1.1 版本python app_v1.1.py --base BASE_MODEL 用法: -base:可以是 RunDiffusion/Juggernaut-XL-v9 或 Lykon/dreamshaper-xl-lightning
感谢 HuggingFace 团队的 GPU 资助,您可以在 https://huggingface.co/spaces/yanze/PuLID 中尝试 PuLID HF 演示
以下是我们在互联网上找到的一些 PuLID 的第三方实现。我们感谢各个开发人员为让更广泛的受众能够使用 PuLID 所做的努力。如果有任何我们在此未提及的基于 PuLID 的资源和应用程序,请告知我们,我们会将它们包含在此列表中。
Colab :https://github.com/camenduru/PuLID-jupyter 由camenduru提供
复制(PuLID) :https://replicate.com/zsxkib/pulid 由 zsxkib 提供
复制(PuLID-FLUX) :https://replicate.com/zsxkib/flux-pulid 由 zsxkib 提供
https://github.com/cubiq/PuLID_ComfyUI 由 cubiq 提供,原生 ComfyUI 实现
https://github.com/ZHO-ZHO-ZHO/ComfyUI-PuLID-ZHO 由 ZHO 提供,基于扩散器的实现
Mikubill/sd-webui-controlnet#2838 由 huchenlei 提供
该项目致力于对人工智能驱动的图像生成领域产生积极影响。用户可以自由地使用此工具创建图像,但他们应该遵守当地法律并负责任地使用它。开发者对用户潜在的误用不承担任何责任。
如果 PuLID 有帮助,请帮助 ⭐ 仓库。
如果您发现该项目对您的研究有用,请考虑引用我们的论文:
@article{guo2024pulid, title={PuLID: 通过对比对齐进行 Pure 和 Lightning ID 定制},author={Guo, Zinan 和 Wu, Yanze 和 Chen, Zhuowei 和 Chen, Lang 和 He, Chen}, Journal={arXiv 预印本 arXiv :2404.16022},年份={2024}}
如果您有任何意见或疑问,请打开新问题或随时联系吴彦泽和郭子南。