autotagger

Danbooru Autotagger

Un système de prédiction de balise pour les images de style anime.

Démo

Essayez-le sur https://autotagger.donmai.us.

Ou allez sur https://danbooru.donmai.us/ai_tags pour parcourir les balises prédites sur tous les messages sur Danbooru. Voici quelques exemples de différentes balises:

• https://danbooru.donmai.us/ai_tags?Search@Tag_name

• https://danbooru.donmai.us/ai_tags?Search@Tag_name

• https://danbooru.donmai.us/ai_tags?Search@Tag_name

Start

# Get tags for a single image
cat image.jpg | docker run --rm -i ghcr.io/danbooru/autotagger autotag -

# Run the web server. Open http://localhost:5000.
docker run --rm -p 5000:5000 ghcr.io/danbooru/autotagger

# Get tags from the web server.
curl http://localhost:5000/evaluate -X POST -F file=@hatsune_miku.jpg -F format=json

Web

Démarrez le serveur d'applications:

 # Avec DockerDocker Run --RM -P 5000: 5000 ghcr.io/danbooru/autotagger# sans dockerpython -m poésie run gunicorn

Ensuite, ouvrez http: // localhost: 5000 pour utiliser le webApp. Ici, vous pouvez télécharger des images et afficher la liste des balises prévues.

API

Démarrez le serveur d'applications comme ci-dessus, puis faites:

 curl http: // localhost: 5000 / évaluer -x post -f file=@hatsune_miku.jpg -f format = json

La sortie ressemblera à ceci:

 [
  {"Nom de fichier": "Hatsune_miku.jpg", "Tags": {"1Girl": 0.9995526671409607, "Hatsune_miku": 0,9995216131210327, "Vocaloïd": 0,9981155395507812, "Solo": 0,938727617812 , "Thighhighs": 0.970325767993927, "long_hair": 0.9630335569381714,      "twintails": 0.9352861046791077,      "very_long_hair": 0.8532902002334595,      "necktie": 0.8532789945602417,      "aqua_hair": 0.8266996145248413,      "detached_sleeves": 0.796751081943512,      "skirt": 0.7879447340965271,      "rating:s": 0.7843148112297058,      "aqua_eyes": 0.6136178374290466, "Zettai_ryouiki": 0,5611224174499512, "FROBS": 0,37453025579452515, "Black_legwear": 0,37255123257637024, "Full_body": 0,32613257637024, "Full_Body": 0,32613257637024, "Full_Body": 0,32613257637024, "Full_Body": 0,32613257637024, "Full_Body": 0,32613257637024, "Full_Body": 0,32613257637024, "Full_Body": 0,32613257637024. _background ": 0.28789788484573364," Boots ": 0.286143958568573," Headset ": 0.27902844548225403," White_background ": 0.23441512882709503, "chemise": 0,21720334887504578, "look_at_viewer": 0.2044636756181717, "plied_skirt": 0,1770536213111877, "Smile": 0.17575393617153168, "Bare_ , "Headphones": 0.16347116231918335, "Standing": 0.1551176076087952, "Note: G": 0.13711321353912354, "aqua_necktie": 0.11798079311847687, "Black_skirt": 0.11197035759687424, "Blush": 0.10813453793525696}
  }
]]

CLI

Générer des balises pour une seule image:

 # Avec docker: chat image.jpg | docker run --rm ghcr.io/danbooru/autotagger Autotag - # sans docker: ./ autotag image.jpg

Générer des balises pour plusieurs images:

 # Avec docker: # `-v $ pwd: / host` signifie monter le répertoire actuel en AS / hôte dans le docker contener.docker run --rm -v $ pwd: / host ghcr.io/danbooru/autotagger autotag / host / host image1.jpg /host/image2.jpg# sans docker: ./ autoTag image1.jpg image2.jpg

Générez des balises pour toutes les images à l'intérieur des images/ répertoires:

 # Avec docker: # Changez `images` en tout ce que votre répertoire d'image est appelé.docker exécuter --rm -v $ pwd / images: / images ghcr.io/danbooru/autotagger Autotag / images # sans docker: ./ Autotag images /

Générer des balises pour tous les fichiers dans un répertoire correspondant à un modèle:

 Trouver des images / -name '* .jpg' | ./autotag -i -

Générez une liste de balises au format CSV, adapté à l'importation dans votre propre instance Danbooru:

 ./autotag -c -f -n images / | gzip> tags.csv.gz

Installation manuelle

# Install system dependencies
apt-get update
apt-get install git build-essential gfortran libatlas-base-dev libffi-dev libssl-dev libbz2-dev liblzma-dev

# Get code
git clone https://github.com/danbooru/autotagger.git
cd autotagger

# Install Python (skip this if Python 3.9.13 is already installed)
git clone https://github.com/asdf-vm/asdf.git ~/.asdf --branch v0.10.0
echo ". $HOME/.asdf/asdf.sh" >> ~/.bashrc
exec bash
asdf plugin add python
asdf install python 3.9.13
asdf shell python 3.9.13

# Install Python dependencies
pip install poetry==1.1.13
python -m poetry env use 3.9
python -m poetry install --no-dev

# Download latest model
wget https://github.com/danbooru/autotagger/releases/download/2022.06.20-233624-utc/model.pth -O models/model.pth

# Test that it works
./autotag test/hatsune_miku.jpg

Mise en œuvre

Le modèle actuel est Stock Resnet-152, pré-entraîné sur ImageNet puis a été finetuné sur Danbooru pour environ 10 époques.

Le modèle est formé sur environ 5500 étiquettes. Cela inclut des balises de caractère avec> 750 publications, des balises de copyright avec> 2000 publications et des balises générales avec> 2500 messages, mais pas des balises d'artistes ou de méta. Les notes sont également incluses.

Le modèle est disponible sur https://github.com/danbooru/autotagger/releases.

Voir aussi

• https://github.com/kichangkim/deepdanbooru

• https://github.com/smilingwolf/sw-cv-modelzoo

• https://github.com/zyddnys/regdeepdanbooru

• https://github.com/rezoo/illustration2vec

• https://www.gwern.net/danbooru2021

• https://console.cloud.google.com/storage/browser/danbooru_public/data?project=danbooru1 (Danbooru Data Dumps)