clear

Um mecanismo de pesquisa de imagens totalmente do lado do usuário.

Destaques

• O Flickr não fornece um mecanismo oficial de busca de imagens semelhante nem API correspondente. No entanto, CLEAR realiza isso do lado do usuário.
• CLEAR é executado totalmente no lado do cliente. Ele não usa nenhum servidor back-end.
• CLEAR não armazena imagens nem cria índices de pesquisa, enquanto os sistemas de pesquisa tradicionais exigem a construção de índices de pesquisa.

Papel

O artigo descreve CLEAR em detalhes.

arXiv: https://arxiv.org/abs/2206.08521

Demonstração on-line

https://clear.joisino.net/

Interface do CLEAR. Carregue uma imagem e CLEAR recupera imagens semelhantes do Flickr. A funcionalidade do CLEAR é simples. O destaque reside antes na forma como isso é realizado e na facilidade de implantação.

? Execute seu próprio CLEAR

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ npm install
$ npm start

Ou você pode tentar com Docker.

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ docker run -it --rm -v $PWD:/app -p 13000:3000 -w /app -u node node /bin/bash -c "npm install && npm start"

Substitua 0123456789abcdef por uma chave de API do Flickr. Você pode obter uma chave em https://www.flickr.com/services/api/misc.api_keys.html. Demora alguns minutos para conseguir uma chave.

Personalizar CLARO

O extrator de recursos e a função de pontuação são definidos em src/score.js .

• getFeature calcula vetores de recursos para a imagem de origem e para as imagens recuperadas. A camada de incorporação é definida em embeddingName . Você pode tentar outras camadas, por exemplo, 'module_apply_default/MobilenetV2/Logits/AvgPool' .
• embs2score calcula pontuações. Quanto mais alto, melhor. Você pode tentar outras funções, por exemplo, o kernel gaussiano Math.exp(- emb1.squaredDifference(emb2).sum().dataSync()[0] / 1000) .

Como CLEAR não depende de nenhum servidor back-end ou índices de pesquisa, você pode usar o sistema perfeitamente depois de alterar a função de pontuação.

Você também pode alterar o alvo de pesquisa do Flickr para outros serviços escrevendo um wrapper em src/flickr.js .

?️ Citação

 @inproceedings{sato2022clear,
  author    = {Ryoma Sato},
  title     = {CLEAR: A Fully User-side Image Search System},
  booktitle = {The 31st {ACM} International Conference on Information
               and Knowledge Management, {CIKM}},
  year      = {2022},
}