clear

完全にユーザー側の画像検索エンジン。

ハイライト

• Flickr は、公式の類似画像検索エンジンや対応する API を提供していません。それにもかかわらず、CLEARはそれをユーザーサイドで実現します。
• CLEAR は完全にクライアント側で実行されます。バックエンドサーバーをまったく使用しません。
• 従来の検索システムでは検索インデックスを構築する必要がありましたが、CLEAR は画像を保存したり、検索インデックスを構築したりしません。

紙

CLEARについて詳しく解説した。

arXiv: https://arxiv.org/abs/2206.08521

オンラインデモ

https://clear.joisino.net/

CLEARのインターフェース。画像をアップロードすると、CLEAR は Flickr から類似の画像を取得します。 CLEARの機能はシンプルです。むしろハイライトは、それがどのように実現され、展開がいかに簡単であるかにあります。

?独自の CLEAR を実行する

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ npm install
$ npm start

または、Docker で試してみることもできます。

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ docker run -it --rm -v $PWD:/app -p 13000:3000 -w /app -u node node /bin/bash -c "npm install && npm start"

0123456789abcdef Flickr API キーに置き換えます。キーは https://www.flickr.com/services/api/misc.api_keys.html で取得できます。鍵の取得には数分かかります。

CLEARをカスタマイズする

特徴抽出機能とスコア関数はsrc/score.jsで定義されています。

• getFeatureソース イメージと取得したイメージの両方の特徴ベクトルを計算します。埋め込み層はembeddingNameで定義されます。他のレイヤー (例: 'module_apply_default/MobilenetV2/Logits/AvgPool'を試すことができます。
• embs2scoreスコアを計算します。高いほど良いです。他の関数、たとえば、ガウス カーネルMath.exp(- emb1.squaredDifference(emb2).sum().dataSync()[0] / 1000)を試すこともできます。

CLEARはバックエンドサーバーや検索インデックスに依存しないため、スコア関数を変更した後もシームレスにシステムを利用できます。

src/flickr.jsにラッパーを記述することで、検索対象を Flickr から他のサービスに変更することもできます。

⁉️引用

 @inproceedings{sato2022clear,
  author    = {Ryoma Sato},
  title     = {CLEAR: A Fully User-side Image Search System},
  booktitle = {The 31st {ACM} International Conference on Information
               and Knowledge Management, {CIKM}},
  year      = {2022},
}