Não com meu nome! Inferindo nomes de artistas de strings de entrada empregadas por Modelos de Difusão

Este é o repositório oficial do

Não com meu nome! Inferindo nomes de artistas de strings de entrada empregadas por Diffusion Models . Roberto Leotta , Oliver Giudice , Luca Guarnera , Sebastiano Battiato . ICIAP 2023.

Não com meu nome!

Instalação

Use conda ou miniconda para instalar facilmente as dependências necessárias.

Com o conda instalado, execute os seguintes comandos:

 # 1. Clone the repository
git clone https://github.com/ictlab-unict/not-with-my-name.git
# 2. navigate to the repository folder
cd not-with-my-name
# 3. create the environment
conda env create -f docs/environment.yml

Em seguida, siga as instruções na seção do conjunto de dados e na seção de pontos de verificação para baixar os arquivos necessários.

Conjunto de dados

Baixe pelo menos um dos seguintes conjuntos de dados:

Conjunto de dados	# Imagens originais	# Imagens geradas por IA	Link	GB
Pequeno	2350	2350	link	2.7
Médio	4130	8519	em breve	/

Após baixar o conjunto de dados, extraia-o na pasta resources . A estrutura da pasta deve ser a seguinte.

Pontos de verificação

Baixe o seguinte link checkpoint: e coloque-o na pasta resources/ckpts . A estrutura da pasta deve ser a seguinte.

Inferência

NB : para executar a inferência você precisa baixar os pontos de verificação e o conjunto de dados (pelo menos o pequeno).

Inferência em uma única imagem

Para executar a inferência em uma única imagem, execute o seguinte comando:

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder < path-to-dataset > --query-img < path-to-query-image > --model-ckpt < path-to-checkpoint > --cuda --results-folder < path-to-results-folder >

Os resultados serão salvos em --results-folder <path-to-results-folder> .

Inferência em uma única imagem – exemplo

 # 1. activate the environment
conda activate not-w-my-name-env
# 2. run inference
python src/inference.py --dataset-folder resources/small-dataset/ --query-img resources/small-dataset/pablo_picasso/ai_generated/102_0.png --model-ckpt resources/ckpts/siamese_not_w_my_name.ckpt --cuda --results-folder results

Uso de inferência

 usage: inference.py [-h] [--show-time] [--debug] 
                    --dataset-folder DATASET_FOLDER --results-folder RESULTS_FOLDER 
                    --query-img QUERY_IMAGE [--distance-th DISTANCE_TH] [--cuda]
                    --model-ckpt MODEL_CKPT

Not with my name inference by Roberto Leotta

optional arguments:
  -h, --help            show this help message and exit
  --show-time           show processing time
  --debug               flag for development debugging
  --dataset-folder DATASET_FOLDER
                        dataset folder path
  --results-folder RESULTS_FOLDER
                        results folder path
  --query-img QUERY_IMAGE
                        query image path
  --distance-th DISTANCE_TH
                        distance threshold for the query image. Default: 0.5
  --cuda                use CUDA for inference
  --model-ckpt MODEL_CKPT
                        siamese model checkpoint

Citação

Se você achar este código útil para sua pesquisa, cite nosso artigo:

 @inproceedings{leotta2023not,
   title={Not with my name! Inferring artists' names of input strings employed by Diffusion Models},
   author={Leotta, Roberto and Giudice, Oliver and Guarnera, Luca and Battiato, Sebastiano},
   booktitle={International Conference on Image Analysis and Processing},
   year={2023},
   organization = {Springer}
}