UniIR

UniIR

ホームページ| ?データセット(M-BEIRベンチマーク) | ?チェックポイント( UniIRモデル) | arXiv | GitHub

このリポジトリには、ECCV-2024 論文「 UniIR : Training and Benchmarking Universal Multimodal Information Retrievers」のコードベースが含まれています

？ニュース

• [2024-04-13] : 私たちは、Late-interaction:PreFLMR:Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers を使用した、指示に従うマルチタスク マルチモーダル レトリバーのトレーニングに関するもう 1 つの貴重な同時研究を紹介します。ケンブリッジ大学の研究者らによって行われました。また、マルチモーダルなユニバーサル情報取得者のトレーニングと評価に使用できる M2KR ベンチマークも導入しました。この分野の進歩を促進するために、M2KR ベンチマークと M-BEIR ベンチマークを組み合わせることもあります。
• [2024-03-18]: UniIR (CLIP_SF) ラージチェックポイントとUniIR (BLIP_FF) ラージチェックポイントをリリースしますか?チェックポイント
• [2023-12-21]: 私たちの ? M-BEIR ベンチマークが使用できるようになりました。

導入

私たちは、（おそらく）あらゆる検索タスクを達成するために単一の検索者を学習するためのUniIR (Universal multimodal Information Retrieval)フレームワークを提案します。従来の IR システムとは異なり、 UniIRさまざまなモダリティの数百万の候補を含む異種候補プールから異種クエリを取得するための指示に従う必要があります。

UniIR ティーザー" style="幅: 80%;最大幅: 100%;">

コンテンツ

1. エムベイル
2. トレーニング
3. 評価
4. 模型動物園
5. 引用と連絡先

エムベイル

普遍的なマルチモーダル検索モデルをトレーニングおよび評価するために、 M-BEIR (Multimodal BEnchmark for Instructed Retrieval) という名前の大規模な検索ベンチマークを構築します。

M-BEIRのダウンロード

M-BEIR データセットは? で提供されます。データセット。 HF ページに記載されている手順に従ってデータセットをダウンロードし、トレーニングと評価用のデータを準備してください。 GiT LFS を設定し、リポジトリを直接クローンする必要があります。

 git clone https://huggingface.co/datasets/TIGER-Lab/M-BEIR

UniIRモデル

UniIR CLIP-ScoreFusion、CLIP-FeatureFusion、BLIP-ScoreFusion、および BLIP-FeatureFusion モデルのトレーニングと評価のためのコードベースを提供します。

環境

次のコマンドを使用して、 UniIRプロジェクトと Conda 環境のコードベースを準備します。

UniIR cd src/models/ conda env create -f UniIR _env.yml">

git clone https://github.com/TIGER-AI-Lab/UniIR
cd UniIR

cd src/models/
conda env create -f UniIR _env.yml

トレーニング

事前トレーニングされた CLIP および BLIP チェックポイントからUniIRモデルをトレーニングするには、以下の手順に従ってください。スクリプトは、事前トレーニングされた CLIP および BLIP チェックポイントを自動的にダウンロードします。

1. M-BEIR ベンチマークをダウンロードする

「M-BEIR」セクションの手順に従って、M-BEIR ベンチマークをダウンロードしてください。

2. スクリプト

UniIR CLIP_SF Large をデフォルト設定でトレーニングするには:

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/train/inbatch/

ハイパーパラメータ調整用にinbatch.yaml変更し、独自の環境とパス用にrun_inbatch.sh変更します。

注記：

1. run_inbatch.sh内のUniIR _DIR 、チェックポイントを保存するディレクトリに変更します。
2. run_inbatch.shのMBEIR_DATA_DIRを、M-BEIR ベンチマークを保存するディレクトリに変更します。
3. run_inbatch.sh内のSRC_DIR 、 UniIRプロジェクトのコードベースを保存するディレクトリ (このリポジトリ) に変更します。
4. デフォルトでは、 UniIRモデルはバッチ内ネガを使用して M-BEIR でトレーニングされ、元のデータセットによって提供されるハード ネガは使用されません。
5. ワンドブを使用してトレーニングプロセスを記録しました。 WANDB_API_KEY 、 WANDB_PROJECT 、およびWANDB_ENTITYを含む.env環境が設定されていることを確認してください。

次に、次のコマンドを実行してUniIR CLIP_SF Large モデルをトレーニングできます。

bash run_inbatch.sh

UniIR BLIP_FF Large をデフォルト設定でトレーニングするには:

 cd src/models/ UniIR _blip/blip_featurefusion/configs_scripts/large/train/inbatch/

ハイパーパラメータ調整用にinbatch.yaml変更し、独自の環境とパス用にrun_inbatch.sh変更します。

bash run_inbatch.sh

同様に、対応するスクリプトを変更することで、 UniIR CLIP_FF モデルと BLIP_SF モデルをトレーニングできます。

評価

M-BEIR ベンチマークでUniIRモデルの評価パイプラインを提供します。

1. 環境

FAISS ライブラリ用の環境を作成してください。

 # From the root directory of the project
cd src/common/
conda env create -f faiss_env.yml

2. M-BEIR ベンチマークをダウンロードする

「M-BEIR」セクションの手順に従って、M-BEIR ベンチマークをダウンロードしてください。

3. UniIRチェックポイントをダウンロードする

「Model Zoo」セクションの手順に従って、 UniIRモデルを最初からトレーニングすることも、事前トレーニングされたUniIRチェックポイントをダウンロードすることもできます。

4. スクリプト

デフォルト構成でUniIR CLIP_SF Large を評価するには:

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/eval/inbatch/

独自の環境、パス、評価設定に合わせてembed.yaml 、 index.yaml 、 retrieval.yaml 、およびrun_eval_pipeline_inbatch.shを変更します。

注記：

1. 事前トレーニングされたUniIRモデルをダウンロードする場合は、 run_eval_pipeline_inbatch.sh内のUniIR _DIR 、チェックポイント、埋め込み、インデックス、取得結果を含む大きなファイルを保存するディレクトリに変更してください。次に、 clip_sf_large.pthファイルを次のパスに配置します。

    $ UniIR _DIR /checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth

   これは、 embed.yamlファイルのmodel.ckpt_configで指定されたデフォルトのパスです。
2. run_eval_pipeline_inbatch.shのMBEIR_DATA_DIR 、M-BEIR ベンチマークを保存するディレクトリに変更します。
3. run_eval_pipeline_inbatch.sh内のSRC_DIR 、 UniIRプロジェクトのコードベースを保存するディレクトリ (このリポジトリ) に変更します。

デフォルト構成では、M-BEIR (5.6M 異種候補プール) ベンチマークと M-BEIR_local (同種候補プール) ベンチマークの両方でUniIR CLIP_SF Large モデルを評価します。 yaml ファイル内のUNIONは、M-BEIR (5.6M 異種候補プール) を指します。 yaml ファイル内のコメントに従って構成を変更し、M-BEIR_local ベンチマークのみでモデルを評価できます。

bash run_eval_pipeline_inbatch.sh

embed 、 index 、 logger 、およびretrieval_resultsは$ UniIR _DIRディレクトリに保存されます。

デフォルト設定でUniIR BLIP_FF Large を評価するには:

 cd src/models/unii_blip/blip_featurefusion/configs_scripts/large/eval/inbatch/

同様に、事前トレーニングされたUniIRモデルをダウンロードする場合は、 blip_ff_large.pthファイルを次のパスに配置できます。

 $ UniIR _DIR /checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth

デフォルト構成では、M-BEIR ベンチマークと M-BEIR_local ベンチマークの両方でUniIR BLIP_FF Large モデルを評価します。

bash run_eval_pipeline_inbatch.sh

UniRAGの評価

UniRAG の評価はデフォルトの評価と非常に似ていますが、次のような違いがあります。

• クエリとその取得された候補を含む jsonl ファイルをretrieval_resultsに保存します。これは、取得した結果が RAG などの下流アプリケーションで使用される場合に便利です。
• retrieval.yamlのretrieve_image_text_pairsがTrueに設定されている場合、 textまたはimageのみのモダリティで各候補の補完候補がフェッチされます。この設定では、候補とその補語は常にimage, textモダリティを持ちます。補完候補は、元の候補をクエリとして使用することによって取得されます (例:クエリ_テキスト->候補_画像->補完候補_テキスト)。
• UniRAG モードで評価を実行するには、上記の手順に従い、 InBatchとinbatchそれぞれUniRAGとuniragに置き換えます。

対応するスクリプトを変更することで、 UniIR CLIP_FF モデルと BLIP_SF モデルをトレーニングおよび評価できます。

模型動物園

?でUniIRモデルのチェックポイントを提供します。チェックポイント。チェックポイントを取得タスクに直接使用することも、独自の取得タスク用にモデルを微調整することもできます。

利用可能なチェックポイント

モデル名	バージョン	モデルサイズ	モデルリンク
UniIR (CLIP-SF)	大きい	5.13GB	ダウンロードリンク
UniIR (BLIP-FF)	大きい	7.49GB	ダウンロードリンク

これらは次の方法でダウンロードできます。

 git clone https://huggingface.co/TIGER-Lab/UniIR

引用と連絡先

• コン・ウェイ: [email protected]
• ヤン・チェン: [email protected]
• アラン・リッター: [email protected]
• 陳文湖: [email protected]

BibTeX:

UniIR, title={ UniIR : Training and benchmarking universal multimodal information retrievers}, author={Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu}, journal={arXiv preprint arXiv:2311.17136}, year={2023} }">

 @article { wei2023 UniIR ,
  title = { UniIR : Training and benchmarking universal multimodal information retrievers } ,
  author = { Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu } ,
  journal = { arXiv preprint arXiv:2311.17136 } ,
  year = { 2023 }
}