DragDiffusion

DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

史玉君薛俊豪刘家春潘家春
汉书颜文清张文森YF谭松白

免责声明

这是一个研究项目，而不是商业产品。用户可以自由地使用此工具创建图像，但他们应该遵守当地法律并以负责任的方式使用它。开发者对用户潜在的误用不承担任何责任。

新闻与更新

• [1月29日] 更新支持扩散器==0.24.0！
• 【10月23日】DragBench代码和数据发布！请查看“drag_bench_evaluation”下的 README 了解详细信息。
• [10月16日] 拖动生成的图像时集成FreeU。
• [10 月 3 日] 编辑真实图像时加快 LoRA 训练速度。 （现在 A100 上只需 20 秒左右！ ）
• [9 月 3 日] v0.1.0 发布。
  • 启用拖动扩散生成的图像。
  • 引入新的引导机制，大大提高拖动结果的质量。 （受到 MasaCtrl 的启发）
  • 启用以任意长宽比拖动图像
  • 添加对 DPM++Solver（生成图像）的支持
• [7月18日] v0.0.1发布。
  • 将 LoRA 培训集成到用户界面中。无需使用训练脚本，一切都可以在 UI 中方便地完成！
  • 优化用户界面布局。
  • 启用对眼睛和面部使用更好的 VAE（请参阅此）
• [7月8日] v0.0.0 发布。
  • 实现DragDiffusion的基本功能

安装

建议在 Linux 系统的 Nvidia GPU 上运行我们的代码。我们尚未对其他配置进行测试。目前，运行我们的方法需要大约 14 GB GPU 内存。我们将持续优化内存效率

要安装所需的库，只需运行以下命令：

 conda env create -f environment.yaml
conda activate dragdiff

运行拖动扩散

首先，在命令行中运行以下命令来启动 gradio 用户界面：

 python3 drag_ui.py

您可以查看上面的 GIF，它逐步演示了 UI 的使用。

基本上，它由以下步骤组成：

案例1：拖动输入真实图像

1）训练LoRA

• 将我们的输入图像放入最左侧的框中。
• 在“提示”字段中输入描述图像的提示
• 单击“训练 LoRA”按钮，根据输入图像训练 LoRA

2）进行“拖动”编辑

• 在最左侧的框中绘制蒙版以指定可编辑区域。
• 单击中间框中的手柄和目标点。此外，您可以通过单击“撤消点”来重置所有点。
• 单击“运行”按钮来运行我们的算法。编辑的结果将显示在最右侧的框中。

案例 2：拖动扩散生成的图像

1）生成图像

• 填写生成参数（例如正/负提示、Generation Config & FreeU参数下的参数）。
• 单击“生成图像”。

2）在生成的图像上“拖动”

• 在最左侧的框中绘制蒙版以指定可编辑区域
• 单击中间框中的控制点和目标点。
• 单击“运行”按钮来运行我们的算法。编辑的结果将显示在最右侧的框中。

执照

与 DragDiffusion 算法相关的代码采用 Apache 2.0 许可证。

书目词典

如果您发现我们的存储库有帮助，请考虑留下一颗星或引用我们的论文:)

 @article { shi2023dragdiffusion ,
  title = { DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing } ,
  author = { Shi, Yujun and Xue, Chuhui and Pan, Jiachun and Zhang, Wenqing and Tan, Vincent YF and Bai, Song } ,
  journal = { arXiv preprint arXiv:2306.14435 } ,
  year = { 2023 }
}

接触

如果对此项目有任何疑问，请联系Yujun ([email protected])

致谢

这项工作的灵感来自令人惊叹的 DragGAN。 lora 训练代码是根据扩散器的示例修改的。图像样本是从 unsplash、pexels、pixabay 收集的。最后，对所有令人惊叹的开源扩散模型和库表示大力赞扬。

相关链接

• 拖动您的 GAN：生成图像流形上基于点的交互式操作
• MasaCtrl：无需调整的相互自注意力控制，可实现一致的图像合成和编辑
• 图像扩散的紧急对应
• DragonDiffusion：在扩散模型上启用拖动式操作
• FreeDrag：基于点的交互式图像编辑不需要点跟踪

常见问题及解决方案

1. 对于由于互联网限制而难以从 Huggingface 加载模型的用户，请 1) 点击此链接并将模型下载到目录“local_pretrained_models”； 2) 运行“drag_ui.py”并在“算法参数 -> 基础模型配置 -> 扩散模型路径”中选择预训练模型的目录。

展开