autotagger

Danbooru Autotagger

Um sistema de previsão de tags para imagens em estilo de anime.

Demonstração

Experimente em https://autotagger.donmai.us.

Ou vá para https://danbooru.donmai.us/ai_tags para navegar tags previstas em todas as postagens no Danbooru. Aqui estão alguns exemplos de tags diferentes:

• https://danbooru.donmai.us/ai_tags?search[tag_name ]=comic&search[order ]=score_desc

• https://danbooru.donmai.us/ai_tags?search[tag_name ]=HATSUNE_MIKU&SearchLorder ]=SCORE_DESC

• https://danbooru.donmai.us/ai_tags?search[tag_name ]=cat&search[order ]=score_desc

Investir rápido

# Get tags for a single image
cat image.jpg | docker run --rm -i ghcr.io/danbooru/autotagger autotag -

# Run the web server. Open http://localhost:5000.
docker run --rm -p 5000:5000 ghcr.io/danbooru/autotagger

# Get tags from the web server.
curl http://localhost:5000/evaluate -X POST -F file=@hatsune_miku.jpg -F format=json

Web

Inicie o servidor de aplicativos:

 # Com o Dockerdocker Run - -rm -p 5000: 5000 ghcr.io/danbooru/autotagger# sem dockerpython -m poesia de gunicorn

Em seguida, abra http: // localhost: 5000 para usar o WebApp. Aqui você pode fazer upload de imagens e visualizar a lista de tags previstas.

API

Inicie o servidor de aplicativos como acima, depois faça:

 Curl http: // localhost: 5000/avaliar -x post -f file=@hatsune_miku.jpg -f formato = json

A saída será assim:

 [[
  {"nome do arquivo": "hatsune_miku.jpg", "tags": {"1Girl": 0,9995526671409607, "hatsune_miku": 0.9995216131210327, "vocalóide": 0.9911555950 , "coteiros": 0,970325767993927, "long_hair": 0.9630335569381714, "Twintails": 0,9352861046791077, "muito_long_hair": 0,8532902002334595, "gravata": 0,852789945602417, " EVES ": 0,796751081943512," Skirt ": 0,7879447340965271," Classificação: s ": 0,7843148112297058," aqua_eyes ": 0,6136178374290466, "Zettai_ryouiki": 0,56112241744999512, "coxa_boots": 0,3745302557946724, "Black_leg": 0,37453025576720, terra ": 0,28789788484573364," botas ": 0,286143958568573," fone de ouvido ": 0,27902844548225403," white_background ": 0,23441512882709503, "Camisa": 0.21720334887504578, "Looking_AT_Viewer": 0,2044636756181717, "PLEATED_SKIRT": 0,17705336213111877, "Smile": 0,17573936171313, "Smile": fones de ouvido ": 0,16347116231918335," Standing ": 0.15511766076087952," Classificação: g ": 0,13711321353912354, "Aqua_necktie": 0.11798079311847687, "Black_skirt": 0,11197035759687424, "Blush": 0,10813453793525696}
  }
]

CLI

Gere tags para uma única imagem:

 # Com docker: gat image.jpg | Docker Run -rm ghcr.io/danbooru/autotagger AutoTag -# sem docker: ./ AutoTag Image.jpg

Gere tags para várias imagens:

 # Com docker:# `-V $ PWD:/host` significa montar o diretório atual como/host dentro do docker contêiner.docker run - -rm -v $ pwd:/host ghcr.io/danbooru/autotagger AutoTag/host/host/ Image1.jpg /host/image2.jpg# sem docker: ./ AutoTag Image1.jpg Image2.jpg

Gere tags para todas as imagens dentro das images/ diretório:

 # Com o docker:# altere `imagens` para qualquer que seja o seu diretório de imagem.

Gere tags para todos os arquivos dentro de um diretório que corresponda a um padrão:

 Encontre imagens/ -name '*.jpg' | ./autoTag -i -

Gere uma lista de tags no formato CSV, adequado para importação para sua própria instância de Danbooru:

 ./autoTag -c -f -n Images/ | gzip> tags.csv.gz

Instalação manual

# Install system dependencies
apt-get update
apt-get install git build-essential gfortran libatlas-base-dev libffi-dev libssl-dev libbz2-dev liblzma-dev

# Get code
git clone https://github.com/danbooru/autotagger.git
cd autotagger

# Install Python (skip this if Python 3.9.13 is already installed)
git clone https://github.com/asdf-vm/asdf.git ~/.asdf --branch v0.10.0
echo ". $HOME/.asdf/asdf.sh" >> ~/.bashrc
exec bash
asdf plugin add python
asdf install python 3.9.13
asdf shell python 3.9.13

# Install Python dependencies
pip install poetry==1.1.13
python -m poetry env use 3.9
python -m poetry install --no-dev

# Download latest model
wget https://github.com/danbooru/autotagger/releases/download/2022.06.20-233624-utc/model.pth -O models/model.pth

# Test that it works
./autotag test/hatsune_miku.jpg

Implementação

O modelo atual é o estoque Resnet-152, pré-criado no ImageNet e depois no Danbooru por cerca de 10 épocas.

O modelo é treinado em cerca de 5500 tags. Isso inclui tags de caracteres com> 750 postagens, tags de direitos autorais com> 2000 postagens e tags gerais com> 2500 postagens, mas não artistas ou meta tags. As classificações também são incluídas.

O modelo está disponível em https://github.com/danbooru/autotagger/releases.

Veja também

• https://github.com/kichangkim/deepdanbooru

• https://github.com/smilingwolf/sw-cv-modelzoo

• https://github.com/zyddnys/regdeepdanbooru

• https://github.com/rezoo/illustration2vec

• https://www.gwern.net/danbooru2021

• https://console.cloud.google.com/storage/browsser/danbooru_public/data?project=danbooru1 (Danbooru Data Dumps)