ambifusion

雄心勃勃

這是“擴散模型的Ambigram生成”論文的官方回購。本文在ICDAR 2023接受。

• 紙鏈接：Arxiv

【 更新 】
2023/07/20：Ambifusion2開放。通過將兩個提示指定為一對，該方法可以使用任何圖像對生成Ambigram。

關於紙

tl; dr

• 我們通過擴散模型提出了一種文化生成方法。
• 您可以通過指定一對字母類來生成各種彈頭圖像。
• 我們提出了ambigramability ，這是一個客觀的衡量標準，即為每個字母對產生彈頭是多麼容易。

抽象的

Ambigram是圖形字母設計，不僅可以從原始方向讀取，而且可以從旋轉方向讀取（尤其是180度）。即使對於人類專家來說，設計彈頭也很困難，因為從兩個方向上保持雙重可讀性通常很困難。本文提出了一種彈道生成模型。作為其生成模塊，我們使用了一個擴散模型，該模型最近已用於生成高質量的照相圖像。通過指定一對字母類，例如“ A”和“ B”，提出的模型生成了各種彈藥映像，這些圖像可以從原始方向讀取為“ A”，而從方向旋轉180度的“ B”。實驗結果的定量和定性分析表明，所提出的模型可以產生高質量和不同的策略。此外，我們定義了策略性，這是一個客觀的衡量標準，即為每個字母對生成彈頭的容易性。例如，一對“ A”和“ V”表現出高度的策略性（也就是說，很容易產生他們的策略），而“ D”和“ K”對錶現出較低的策略性。動彈性不僅為計算機，而且對人類專家提供了各種暗示。

例子

我們提出的方法產生了彈道液，例如以下示例。

括號的數字是字母對的砲擊得分（↑）。上三行是相當簡單的班級對（具有較高的策略性得分），而下三行則不是。

實驗環境設置

我們測試了Python: 3.8.10 。您可以在pip上下載外部庫如下。

 pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113
pip install -r requirements.txt

您還可以下載預訓練的權重。用下載的現實權威文件替換所有偽重量file weight_name.txt 。

• 權重鏈接：googledrive

演示

可以使用Gradio演示。

1. 按照啟動Gradio Web應用程序。

 python demo.py

2. 使用Web瀏覽器訪問127.0.0.1:11111 。

進行彈頭

1. 在ambigram_random_sample.py中設置TestConfigs 。
2. 如下運行採樣代碼。

 python ambigram_random_sample.py

檢查策略性

1. 在calc_ambigramability.py中設置TestConfigs 。
2. 按照以下方式運行計算代碼。

 python calc_ambigramability.py

定制

模型培訓。

1. 在configs/trainargs.py中設置TrainConfigs 。如果需要，可以更改DA_ambigram_configs.yaml （詳細信息在論文中的第3.2節中提到）。
2. 運行訓練代碼如下。

 ## Run on single gpu
python ambigram_train.py

## Run on multiple gpus
mpiexec -n [NUM_GPUs] python ambigram_train.py

注意[1]：如果您想使用classifier-free guidance來生成彈道，則必須單獨訓練有條件模型和無條件模型。

紙張信息

 @article{shirakawa2023ambigram,
  title={Ambigram Generation by A Diffusion Model},
  author={Shirakawa, Takahiro and Uchida, Seiichi},
  booktitle={2023 17th international conference on document analysis and recognition (ICDAR)},
  year={2023}
}