DragDiffusion下載 - DragDiffusion原始碼下載

DragDiffusion

Ai源碼

DragBench Released!

下載

DragDiffusion：利用擴散模型進行互動式基於點的影像編輯

史玉君薛俊豪劉家春潘家春
漢書顏文清張文森YF譚松白

免責聲明

這是一個研究項目，而不是商業產品。使用者可以自由地使用此工具創建圖像，但他們應該遵守當地法律並以負責任的方式使用它。開發者對使用者潛在的誤用不承擔任何責任。

新聞與更新

[1月29日] 更新支援擴散器==0.24.0！
【10月23日】DragBench程式碼和資料發布！請查看「drag_bench_evaluation」下的 README 以了解詳細資訊。
[10月16日] 拖曳產生的影像時整合FreeU。
[10 月 3 日] 編輯真實影像時加快 LoRA 訓練速度。（現在 A100 上只需 20 秒左右！ ）
[9 月 3 日] v0.1.0 發布。
- 啟用拖曳擴散產生的影像。
- 引入新的引導機制，大大提高拖曳結果的品質。 （受到 MasaCtrl 的啟發）
- 啟用以任意長寬比拖曳影像
- 新增對 DPM++Solver（生成影像）的支持
[7月18日] v0.0.1發布。
- 將 LoRA 培訓整合到使用者介面中。無需使用訓練腳本，一切都可以在 UI 中輕鬆完成！
- 優化使用者介面佈局。
- 啟用對眼睛和臉部使用更好的 VAE（請參閱此）
[7月8日] v0.0.0 發布。
- 實現DragDiffusion的基本功能

安裝

建議在 Linux 系統的 Nvidia GPU 上執行我們的程式碼。我們尚未對其他配置進行測試。目前，運行我們的方法需要大約 14 GB GPU 記憶體。我們將持續優化記憶體效率

要安裝所需的庫，只需執行以下命令：

 conda env create -f environment.yaml
conda activate dragdiff

運轉拖曳擴散

首先，在命令列中執行以下命令來啟動 gradio 使用者介面：

 python3 drag_ui.py

您可以查看上面的 GIF，它逐步演示了 UI 的使用。

基本上，它由以下步驟組成：

案例1：拖曳輸入真實影像

1）訓練LoRA

將我們的輸入影像放入最左邊的框框中。
在「提示」欄位中輸入描述影像的提示
點選“訓練 LoRA”按鈕，根據輸入影像訓練 LoRA

2）進行「拖曳」編輯

在最左側的框中繪製蒙版以指定可編輯區域。
點選中間框中的手把和目標點。此外，您可以透過按一下「撤銷點」來重置所有點。
點擊“運行”按鈕來運行我們的演算法。編輯的結果將顯示在最右側的框框中。

案例 2：拖曳擴散產生的影像

1）生成影像

填入生成參數（例如正/負提示、Generation Config & FreeU參數下的參數）。
按一下“生成圖像”。

2）在生成的圖像上“拖曳”

在最左側的框中繪製蒙版以指定可編輯區域
點選中間框中的控制點和目標點。
點擊“運行”按鈕來運行我們的演算法。編輯的結果將顯示在最右側的框框中。

執照

與 DragDiffusion 演算法相關的程式碼採用 Apache 2.0 許可證。

書目詞典

如果您發現我們的儲存庫有幫助，請考慮留下一顆星或引用我們的論文:)

 @article { shi2023dragdiffusion ,
  title = { DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing } ,
  author = { Shi, Yujun and Xue, Chuhui and Pan, Jiachun and Zhang, Wenqing and Tan, Vincent YF and Bai, Song } ,
  journal = { arXiv preprint arXiv:2306.14435 } ,
  year = { 2023 }
}