¡No con mi nombre! Inferir los nombres de los artistas de las cadenas de entrada empleadas por Diffusion Models

Este es el repositorio oficial de

¡No con mi nombre! "Inferir los nombres de los artistas de las cadenas de entrada empleadas por Diffusion Models" . Roberto Leotta , Oliver Giudice , Luca Guarnera , Sebastiano Battiato . ICIAP 2023.

¡No con mi nombre!

Instalación

Utilice conda o miniconda para instalar fácilmente las dependencias necesarias.

Con conda instalado, ejecute los siguientes comandos:

 # 1. Clone the repository
git clone https://github.com/ictlab-unict/not-with-my-name.git
# 2. navigate to the repository folder
cd not-with-my-name
# 3. create the environment
conda env create -f docs/environment.yml

Luego siga las instrucciones en la sección de conjunto de datos y en la sección de puntos de control para descargar los archivos necesarios.

Conjunto de datos

Descargue al menos uno de los siguientes conjuntos de datos:

Conjunto de datos	# Imágenes originales	# Imágenes generadas por IA	Enlace	ES
Pequeño	2350	2350	enlace	2.7
Medio	4130	8519	muy pronto	/

Después de descargar el conjunto de datos, extráigalo en la carpeta resources . La estructura de carpetas debe ser la siguiente.

Puntos de control

Descargue el siguiente punto de control: enlace y colóquelo en la carpeta resources/ckpts . La estructura de carpetas debe ser la siguiente.

Inferencia

NB : para ejecutar la inferencia es necesario descargar los puntos de control y el conjunto de datos (al menos el pequeño).

Inferencia sobre una sola imagen

Para ejecutar la inferencia en una sola imagen, ejecute el siguiente comando:

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder < path-to-dataset > --query-img < path-to-query-image > --model-ckpt < path-to-checkpoint > --cuda --results-folder < path-to-results-folder >

Los resultados se guardarán en la --results-folder <path-to-results-folder> .

Inferencia sobre una sola imagen - ejemplo

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder resources/small-dataset/ --query-img resources/small-dataset/pablo_picasso/ai_generated/102_0.png --model-ckpt resources/ckpts/siamese_not_w_my_name.ckpt --cuda --results-folder results

Uso de inferencia

 usage: inference.py [-h] [--show-time] [--debug] 
                    --dataset-folder DATASET_FOLDER --results-folder RESULTS_FOLDER 
                    --query-img QUERY_IMAGE [--distance-th DISTANCE_TH] [--cuda]
                    --model-ckpt MODEL_CKPT

Not with my name inference by Roberto Leotta

optional arguments:
  -h, --help            show this help message and exit
  --show-time           show processing time
  --debug               flag for development debugging
  --dataset-folder DATASET_FOLDER
                        dataset folder path
  --results-folder RESULTS_FOLDER
                        results folder path
  --query-img QUERY_IMAGE
                        query image path
  --distance-th DISTANCE_TH
                        distance threshold for the query image. Default: 0.5
  --cuda                use CUDA for inference
  --model-ckpt MODEL_CKPT
                        siamese model checkpoint

Citación

Si encuentra este código útil para su investigación, cite nuestro artículo:

 @inproceedings{leotta2023not,
   title={Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
   author={Leotta, Roberto and Giudice, Oliver and Guarnera, Luca and Battiato, Sebastiano},
   booktitle={International Conference on Image Analysis and Processing},
   year={2023},
   organization = {Springer}
}