Nicht mit meinem Namen! Ableitung der Künstlernamen von Eingabezeichenfolgen, die von Diffusionsmodellen verwendet werden

Dies ist das offizielle Repository von

Nicht mit meinem Namen! Ableitung der Künstlernamen der von Diffusion Models verwendeten Eingabezeichenfolgen . Roberto Leotta , Oliver Giudice , Luca Guarnera , Sebastiano Battiato . ICIAP 2023.

Nicht mit meinem Namen!

Installation

Verwenden Sie Conda oder Miniconda, um die erforderlichen Abhängigkeiten einfach zu installieren.

Führen Sie bei installiertem Conda die folgenden Befehle aus:

 # 1. Clone the repository
git clone https://github.com/ictlab-unict/not-with-my-name.git
# 2. navigate to the repository folder
cd not-with-my-name
# 3. create the environment
conda env create -f docs/environment.yml

Befolgen Sie dann die Anweisungen im Abschnitt „Datensatz“ und „Prüfpunkte“, um die erforderlichen Dateien herunterzuladen.

Datensatz

Laden Sie mindestens einen der folgenden Datensätze herunter:

Datensatz	# Originalbilder	# KI-generierte Bilder	Link	GB
Klein	2350	2350	Link	2.7
Medium	4130	8519	kommt bald	/

Nachdem Sie den Datensatz heruntergeladen haben, extrahieren Sie ihn in den resources . Die Ordnerstruktur sollte wie folgt aussehen.

Kontrollpunkte

Laden Sie den folgenden Checkpoint herunter: Link und platzieren Sie ihn im Ordner resources/ckpts . Die Ordnerstruktur sollte wie folgt aussehen.

Schlussfolgerung

Hinweis : Um die Inferenz auszuführen, müssen Sie die Prüfpunkte und den Datensatz (zumindest den kleinen) herunterladen.

Rückschluss auf ein einzelnes Bild

Um die Inferenz für ein einzelnes Bild auszuführen, führen Sie den folgenden Befehl aus:

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder < path-to-dataset > --query-img < path-to-query-image > --model-ckpt < path-to-checkpoint > --cuda --results-folder < path-to-results-folder >

Die Ergebnisse werden im --results-folder <path-to-results-folder> gespeichert.

Rückschluss auf ein einzelnes Bild – Beispiel

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder resources/small-dataset/ --query-img resources/small-dataset/pablo_picasso/ai_generated/102_0.png --model-ckpt resources/ckpts/siamese_not_w_my_name.ckpt --cuda --results-folder results

Inferenzverwendung

 usage: inference.py [-h] [--show-time] [--debug] 
                    --dataset-folder DATASET_FOLDER --results-folder RESULTS_FOLDER 
                    --query-img QUERY_IMAGE [--distance-th DISTANCE_TH] [--cuda]
                    --model-ckpt MODEL_CKPT

Not with my name inference by Roberto Leotta

optional arguments:
  -h, --help            show this help message and exit
  --show-time           show processing time
  --debug               flag for development debugging
  --dataset-folder DATASET_FOLDER
                        dataset folder path
  --results-folder RESULTS_FOLDER
                        results folder path
  --query-img QUERY_IMAGE
                        query image path
  --distance-th DISTANCE_TH
                        distance threshold for the query image. Default: 0.5
  --cuda                use CUDA for inference
  --model-ckpt MODEL_CKPT
                        siamese model checkpoint

Zitat

Wenn Sie diesen Code für Ihre Forschung nützlich finden, zitieren Sie bitte unseren Artikel:

 @inproceedings{leotta2023not,
   title={Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
   author={Leotta, Roberto and Giudice, Oliver and Guarnera, Luca and Battiato, Sebastiano},
   booktitle={International Conference on Image Analysis and Processing},
   year={2023},
   organization = {Springer}
}