Pas avec mon nom ! Déduire les noms d'artistes des chaînes d'entrée utilisées par les modèles de diffusion

Ceci est le référentiel officiel de

Pas avec mon nom ! Déduire les noms d'artistes des chaînes d'entrée utilisées par les modèles de diffusion . Roberto Leotta , Oliver Giudice , Luca Guarnera , Sebastiano Battiato . ICIAP 2023.

Pas avec mon nom !

Installation

Utilisez conda ou miniconda pour installer facilement les dépendances requises.

Une fois conda installé, exécutez les commandes suivantes :

 # 1. Clone the repository
git clone https://github.com/ictlab-unict/not-with-my-name.git
# 2. navigate to the repository folder
cd not-with-my-name
# 3. create the environment
conda env create -f docs/environment.yml

Suivez ensuite les instructions de la section Ensemble de données et de la section Points de contrôle pour télécharger les fichiers requis.

Ensemble de données

Téléchargez au moins l'un des ensembles de données suivants :

Ensemble de données	# Images originales	# Images générées par l'IA	Lien	FR
Petit	2350	2350	lien	2.7
Moyen	4130	8519	à venir	/

Après avoir téléchargé l'ensemble de données, extrayez-le dans le dossier resources . La structure des dossiers doit être la suivante.

Points de contrôle

Téléchargez le lien de point de contrôle suivant : et placez-le dans le dossier resources/ckpts . La structure des dossiers doit être la suivante.

Inférence

NB : pour lancer l'inférence vous devez télécharger les points de contrôle et le jeu de données (au moins le petit).

Inférence sur une seule image

Pour exécuter l'inférence sur une seule image, exécutez la commande suivante :

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder < path-to-dataset > --query-img < path-to-query-image > --model-ckpt < path-to-checkpoint > --cuda --results-folder < path-to-results-folder >

Les résultats seront enregistrés dans le --results-folder <path-to-results-folder> .

Inférence sur une seule image - exemple

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder resources/small-dataset/ --query-img resources/small-dataset/pablo_picasso/ai_generated/102_0.png --model-ckpt resources/ckpts/siamese_not_w_my_name.ckpt --cuda --results-folder results

Utilisation de l'inférence

 usage: inference.py [-h] [--show-time] [--debug] 
                    --dataset-folder DATASET_FOLDER --results-folder RESULTS_FOLDER 
                    --query-img QUERY_IMAGE [--distance-th DISTANCE_TH] [--cuda]
                    --model-ckpt MODEL_CKPT

Not with my name inference by Roberto Leotta

optional arguments:
  -h, --help            show this help message and exit
  --show-time           show processing time
  --debug               flag for development debugging
  --dataset-folder DATASET_FOLDER
                        dataset folder path
  --results-folder RESULTS_FOLDER
                        results folder path
  --query-img QUERY_IMAGE
                        query image path
  --distance-th DISTANCE_TH
                        distance threshold for the query image. Default: 0.5
  --cuda                use CUDA for inference
  --model-ckpt MODEL_CKPT
                        siamese model checkpoint

Citation

Si vous trouvez ce code utile pour votre recherche, veuillez citer notre article :

 @inproceedings{leotta2023not,
   title={Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
   author={Leotta, Roberto and Giudice, Oliver and Guarnera, Luca and Battiato, Sebastiano},
   booktitle={International Conference on Image Analysis and Processing},
   year={2023},
   organization = {Springer}
}