clear

完全用戶端的圖像搜尋引擎。

亮點

• Flickr 不提供官方的類似圖片搜尋引擎，也不提供對應的 API。儘管如此，CLEAR還是在用戶端實現了這一點。
• CLEAR 完全在客戶端運作。它根本不使用後端伺服器。
• CLEAR不儲存任何影像，也不建立搜尋索引，而傳統搜尋系統需要建立搜尋索引。

紙

論文詳細介紹了CLEAR。

arXiv：https://arxiv.org/abs/2206.08521

線上示範

https://clear.joisino.net/

CLEAR 介面。上傳圖像，然後 CLEAR 從 Flickr 檢索類似圖像。 CLEAR 的功能很簡單。亮點在於它是如何實現的以及部署是多麼容易。

？運行您自己的 CLEAR

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ npm install
$ npm start

或者你可以使用 Docker 來嘗試。

 $ git clone [email protected]:joisino/clear.git
$ cd clear
$ echo 'REACT_APP_FLICKR_KEY="0123456789abcdef"' > .env.local
$ docker run -it --rm -v $PWD:/app -p 13000:3000 -w /app -u node node /bin/bash -c "npm install && npm start"

將0123456789abcdef替換為 Flickr API 金鑰。您可以在 https://www.flickr.com/services/api/misc.api_keys.html 取得金鑰。需要幾分鐘才能拿到鑰匙。

自訂 清除

特徵提取器和評分函數在src/score.js中定義。

• getFeature計算來源影像和檢索影像的特徵向量。嵌入層在embeddingName中定義。您可以嘗試其他圖層，例如'module_apply_default/MobilenetV2/Logits/AvgPool' 。
• embs2score計算分數。越高越好。您可以嘗試其他函數，例如高斯核Math.exp(- emb1.squaredDifference(emb2).sum().dataSync()[0] / 1000) 。

由於 CLEAR 不依賴任何後端伺服器或搜尋索引，因此您可以在變更評分功能後無縫使用系統。

您也可以透過在src/flickr.js中編寫包裝器將搜尋目標從 Flickr 變更為其他服務。

?️ 引文

 @inproceedings{sato2022clear,
  author    = {Ryoma Sato},
  title     = {CLEAR: A Fully User-side Image Search System},
  booktitle = {The 31st {ACM} International Conference on Information
               and Knowledge Management, {CIKM}},
  year      = {2022},
}