私の名前ではありません！拡散モデルで使用される入力文字列のアーティスト名の推測

これは公式リポジトリです

私の名前ではありません！拡散モデルで使用される入力文字列のアーティスト名を推測します。ロベルト・レオッタ、オリバー・ジュディス、ルカ・グアルネラ、セバスティアーノ・バッティアート。 ICIAP 2023。

私の名前ではありません！

インストール

conda または miniconda を使用して、必要な依存関係を簡単にインストールします。

conda がインストールされたら、次のコマンドを実行します。

 # 1. Clone the repository
git clone https://github.com/ictlab-unict/not-with-my-name.git
# 2. navigate to the repository folder
cd not-with-my-name
# 3. create the environment
conda env create -f docs/environment.yml

次に、データセットセクションとチェックポイントセクションの指示に従って、必要なファイルをダウンロードします。

データセット

次のデータセットの少なくとも 1 つをダウンロードします。

データセット	# オリジナル画像	# AI 生成画像	リンク	GB
小さい	2350	2350	リンク	2.7
中くらい	4130	8519	近日公開	/

データセットをダウンロードしたら、 resourcesフォルダーに解凍します。フォルダ構成は以下のようになるはずです。

チェックポイント

次のチェックポイントをダウンロードして、 resources/ckptsフォルダーに配置します。フォルダ構成は以下のようになるはずです。

推論

注意: 推論を実行するには、チェックポイントとデータセット (少なくとも小さいデータセット) をダウンロードする必要があります。

単一画像の推論

単一のイメージに対して推論を実行するには、次のコマンドを実行します。

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder < path-to-dataset > --query-img < path-to-query-image > --model-ckpt < path-to-checkpoint > --cuda --results-folder < path-to-results-folder >

結果は--results-folder <path-to-results-folder>に保存されます。

単一画像の推論 - 例

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder resources/small-dataset/ --query-img resources/small-dataset/pablo_picasso/ai_generated/102_0.png --model-ckpt resources/ckpts/siamese_not_w_my_name.ckpt --cuda --results-folder results

推論の使用法

 usage: inference.py [-h] [--show-time] [--debug] 
                    --dataset-folder DATASET_FOLDER --results-folder RESULTS_FOLDER 
                    --query-img QUERY_IMAGE [--distance-th DISTANCE_TH] [--cuda]
                    --model-ckpt MODEL_CKPT

Not with my name inference by Roberto Leotta

optional arguments:
  -h, --help            show this help message and exit
  --show-time           show processing time
  --debug               flag for development debugging
  --dataset-folder DATASET_FOLDER
                        dataset folder path
  --results-folder RESULTS_FOLDER
                        results folder path
  --query-img QUERY_IMAGE
                        query image path
  --distance-th DISTANCE_TH
                        distance threshold for the query image. Default: 0.5
  --cuda                use CUDA for inference
  --model-ckpt MODEL_CKPT
                        siamese model checkpoint

引用

このコードが研究に役立つと思われる場合は、論文を引用してください。

 @inproceedings{leotta2023not,
   title={Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
   author={Leotta, Roberto and Giudice, Oliver and Guarnera, Luca and Battiato, Sebastiano},
   booktitle={International Conference on Image Analysis and Processing},
   year={2023},
   organization = {Springer}
}