rubrix

AI を活用したビジュアル検索エンジン

rubrix構築の背後にある主な動機は、自然言語処理とコンピューター ビジョンの分野内で概念を結びつけ、人工知能によって完全に強化されたビジュアル検索エンジンを用意することでした。これは、私たちが「結合類似性検索」と呼びたいものです。現在、 rubrixは 2 つの主な機能があります。

• 画像を説明するユーザー入力を受け取り、その説明に適合する 5 つの画像を取得します (画像検索)
• ユーザーがアップロードした画像を取り込み、類似した画像を 5 枚取得します (逆画像検索)

アーキテクチャとrubrix仕組みの詳細については、ここをクリックしてください。

アクション中のrubrix

ここでサンプル クエリとしてrubrixによって取得された画像の一部を確認できます。

はじめる

このセクションでは、プロジェクトを起動して実行するための前提条件と手順について説明します。

設定

1. プロジェクト環境

現在、 rubrix Linux 上で問題なく動作し、次の手順に従ってすべての前提条件パッケージを簡単にセットアップできます。

1. ご使用のマシンに適切なバージョンの conda をダウンロードします。

2. 次のコマンドを使用してconda_install.shファイルを実行してインストールします。

   $ bash conda_install.sh

3. conda bash プロファイルに追加します。

   $ source ~ /.bashrc

4. rubrix/ (最上位ディレクトリ) に移動し、次のコマンドを使用して、含まれているenvironment.ymlファイルを使用して conda 仮想環境を作成します。

   $ conda env create -f environment.yml

5. 次のコマンドを使用して仮想環境をアクティブ化します。

   $ conda activate rubrix

6. setuptools エクストラを含むパッケージをインストールするには、 setup.pyファイルを含むrubrix/ (最上位ディレクトリ) で次のコマンドを使用します。

   $ pip install . 

2A.データ資産 - ゼロからのセットアップ

前提条件がインストールされたら、次の手順に従ってプロジェクトをビルドします。

1. rubrix/indexディレクトリに移動します。

2. 次のコマンドを使用して bash スクリプトsetup.sh実行します。

   $ bash setup.sh

これは何をするのでしょうか?

1. flickr8k 画像/キャプション データセットをダウンロードします。
2. YOLOv4 によるオブジェクト検出を有効にするために、 rubrix/index内にdarknet/構築して設定します。
3. 本質的には、YOLOv4 がトレーニングされたすべてのオブジェクトを、それらを含むイメージにマッピングする逆イメージ インデックスである、 assets/index.jsonファイルを作成します。
4. assets/imageEmbeddingLocations.jsonファイルを作成します。これは基本的に、データベース内のすべての画像を、データベース内のキャプションごとに生成された文埋め込みベクトルにマッピングします。
5. データベース内のすべての画像を記述する特徴ベクトルを生成し、 assets/descriptorsディレクトリに保存します。

注:上記のスクリプトの実行が完了するまでに 1.5 ～ 2 時間かかる場合があります。

2B.データ資産 - クイックセットアップ

1. このリンクからデータ資産をダウンロードします。
2. 解凍して内容をrubrix/assetsに保存します。
3. 残っているのは、 rubrix/assets/index.jsonとrubrix/assets/imageEmbeddingLocations.jsonのローカル マシンに対する相対パスを変更することだけです。これは次のようにして実行できます。
   • 対応する仮想環境がアクティブであることを確認するか、次のコマンドを使用してアクティブ化します。

     $ conda activate rubrix

   • ターミナルで Python インタープリターを起動し、次のコード スニペットを実行します。

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. rubrix/rubrix/indexディレクトリに移動し、次の bash スクリプトを実行します。

   $ bash quick_setup.sh

使用法

1. パッケージとして

これらの手順を完了すると、 rubrix使用できるようになります。

• 画像検索の場合は、 rubrix/query/query_by_textメソッドを実行します。
• 逆画像検索の場合は、 rubrix/query/query_by_image_objectsメソッドを実行します。

ここで実際の例に従うこともできます。

2. ローカル Web アプリケーション

代わりに、Web ブラウザ上のアプリケーションとしてrubrix使用することもできます。

• rubrix/rubrix/webディレクトリに移動します。
• ターミナルに次のコマンドを入力して、Web アプリケーションを起動します。

  $ python app.py

3. Docker化されたWebアプリケーション

これは、AWS 上の Ubuntu Linux サーバーなどのサーバーにrubrixデプロイする場合に使用します。

1. 最上位のディレクトリに移動します
2. 次のコマンドを入力して、Docker イメージを構築します。

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. その後、以下を実行できます。

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

このための理想的なセットアップは、ホスト システム上に Apache/Nginx リバース プロキシ セットアップを持ち、この場合はポート9000を指し、ホスト システムの Apache/Nginx が SSL を処理することです。これにより、SSL 証明書の再作成を心配することなく、アプリケーションを何度もデプロイできるようになります。

いかなる運用環境でも conda を使用するのは悪夢であるため、Dockerfile はenvironment.ymlファイルを使用しません。そこで行われた変更は Dockerized コンテナには反映されません。

貢献ガイドライン

以下のような、私たちが従うよう努めたいくつかの一般的なガイドラインを除いて、貢献に関する特定のガイドラインはありません。

• コードは可能な限り PEP8 標準に従う必要があります
• このプロジェクトでは、Google スタイルの docstring を使用して Python モジュールを文書化します。

改善できる点が見つかった場合は、プル リクエストを送信してください。私たちは、 rubrixがプロジェクトとしてそれ自体の最高のバージョンであることを保証するために、いつでも喜んで改善を検討します。

何かを別の方法で実行する必要があると思われる場合 (または明らかに壊れている場合)、問題を作成してください。

ライセンス

詳細については、LICENSE ファイルを参照してください。