RAGの取得

RAG 検索

さまざまな RAG リランカー モデルについての統一的な推論 | フルリンク RAG リランカー モデルの微調整 ライセンス |

RAG-Retrieval は、フルリンクの RAG 検索微調整 (トレーニング)、推論 (infer)、および蒸留 (蒸留) コードを提供します。

• 微調整の場合、ベクトル (埋め込み、図 a)、後期インタラクティブ モデル (colbert、図 d)、並べ替えモデル (クロス エンコーダー (bert)、図 c、llm-ベースのリランカー）。
• 推論のために、RAG-Retrieval はリランカーに焦点を当て、軽量の Python ライブラリ rag-retrieval を開発しました。これは、さまざまな RAG ソート モデルを呼び出すための統一された方法を提供します。
• 蒸留では、LLM ベースのリランカー モデルから BERT ベースのリランカー モデルへの蒸留がサポートされています。

コミュニティコミュニケーション

WeChatグループチャットに参加してください

最新のアップデート

• 2024 年 10 月 21 日: RAG-Retrieval は、LLM に基づいて Reranker タスクを実行するための 2 つの異なる方法と、それらを bert に抽出する方法をリリースしました。 Reranker タスクにおける LLM のベスト プラクティスは何ですか?簡単な実験レポート（コード付き）

• 2024 年 6 月 5 日: RAG-Retrieval の埋め込みモデルの MRL 損失実装。 RAG-Retrieval: MRL 損失をトレーニング ベクトル (埋め込み) モデルの標準構成にする

• 2024 年 6 月 2 日: RAG-Retrieval は、LLM 設定に基づいた監視付き RAG レトリーバーの微調整を実装します。 RAG-Retrieval は、LLM 設定の監視に基づいて RAG リトリーバーの微調整を実装します。

• 2024 年 5 月 5 日: 軽量 Python ライブラリ RAG-Retrieval のリリース: RAG アプリケーションには、より優れた並べ替え推論フレームワークが必要です

• 2024 年 3 月 18 日: RAG-Retrieval RAG-Retrieval Zhihu の導入をリリース

ロードマップ

• RAG 取得ロードマップ

統一された方法を使用して、さまざまな RAG Reranker モデルを推論します。

なぜ Reranker モデルの推論やパッケージの開発を行うのでしょうか?

ランキング モデルはあらゆる検索アーキテクチャの重要な部分であり、RAG の重要な部分でもありますが、現在の現状は次のとおりです。

• オープンソースのランキング モデルは多数あり、シナリオ A で良好なパフォーマンスを発揮するモデルが、シナリオ B では良好なパフォーマンスを発揮しない可能性があります。どれを使用すればよいかを判断するのは困難です。
• さらに、新しい並べ替えモデルが常に登場しています。たとえば、今年 3 月に BGE によってリリースされた LLM Reranker は、段落の並べ替えに大規模なデコーダ専用モデルを使用しています。これは非常に有望です。
• さまざまな並べ替えモデルはそれぞれ並べ替え用の独自のライブラリを開発する傾向があるため、新しいユーザーは各並べ替えモデルの入力と出力に精通し、さまざまな依存関係をインストールする必要があります。

ラグリトリーブの特徴

したがって、RAG-Retrieval は、さまざまな RAG ソート モデルを呼び出すための統一された方法を提供する軽量の Python ライブラリ rag-retrieval を開発しました。これには、次のような特徴があります。

• 複数の並べ替えモデルをサポート: 一般的なオープンソースの並べ替えモデル (Cross Encoder Reranker、Decoder-Only LLM Reranker) をサポートします。

• 長いドキュメントに優しい: 長いドキュメントに対する 2 つの異なる処理ロジック (最大長の切り捨て、セグメンテーション、および最大スコア) をサポートします。

• 拡張が簡単: 新しいランキング モデルがある場合、ユーザーは、basereranker を継承し、rank 関数と compute_score 関数を実装するだけで済みます。

設置環境

 #为了避免自动安装的torch与本地的cuda不兼容，建议进行下一步之前先手动安装本地cuda版本兼容的torch。
pip install rag-retrieval

サポートされているリランカー モデル

クロスエンコーダーリランカー

Cross Encoder Reranker の場合、トランスフォーマーのAutoModelForSequenceClassificationを使用する限り、推論に rag_retrieval の Reranker を使用できます。例としては以下のようなものがあります。

• bge シリーズのクロス エンコーダー モデル (BAAI/bge-reranker-base、BAAI/bge-reranker-large、BAAI/bge-reranker-v2-m3) など

• bce の Cross Encoder モデル (例:maidalun1020/bce-reranker-base_v1)

LLMリランカー

LLM Reranker の場合、rag_retrieval の Reranker は、さまざまな強力な LLM ランキング モデルをサポートしています。また、ゼロ ショット ソートのための LLM チャット モデルの使用もサポートします。例としては以下のようなものがあります。

• bge シリーズの LLM Reranker モデル (BAAI/bge-reranker-v2-gemma、BAAI/bge-reranker-v2-minicpm-layerwise、BAAI/bge-reranker-v2-m3) など

• また、ゼロ ショット ソートのための LLM チャット モデルの使用もサポートします。

使用

rag-retrieval パッケージの詳しい使い方や注意事項については、チュートリアルをご覧ください。

詳細については、以下の元の推論フレームワークに合わせて多くのテストを実行しました。テストにはさまざまなモジュールが必要であり、rag_retrieval は統一されたインターフェイスを使用します。

FlagEmbedding の FlagReranker、FlagLLMReranker、LayerWiseFlagLLMReranker など。

BCEmbedding の RerankerModel など

フルリンク RAG 取得モデルの微調整

設置環境

conda create -n rag-retrieval python=3.8 && conda activate rag-retrieval
#为了避免自动安装的torch与本地的cuda不兼容，建议进行下一步之前先手动安装本地cuda版本兼容的torch。
pip install -r requirements.txt 

ベクトル (埋め込み) モデル

• オープンソースの埋め込みモデル (bge、m3e など) の微調整をサポートします。

• 次の 2 種類のデータの微調整をサポートします。

  • クエリと正の例 (負の例はバッチ内のランダムな負の例を使用します)、
  • クエリとポジティブな例と困難なネガティブな例。 (負の例は、バッチ内の対応する困難な負の例とランダムな負の例です)

埋め込みモデルのプロセスを微調整します。詳細なプロセスについては、モデル ディレクトリのチュートリアルを参照してください。

 cd ./rag_retrieval/train/embedding
bash train_embedding.sh

後期インタラクティブ (コルベール) モデル

• オープンソースの bge-m3e モデルで Colbert の微調整をサポートします。
• クエリと肯定的な例だけでなく、難しい否定的な例もサポートします。 (負の例は、バッチ内の対応する困難な負の例とランダムな負の例です)

コルベール モデル プロセスを微調整します。詳細なプロセスについては、モデル ディレクトリのチュートリアルを参照してください。

 cd ./rag_retrieval/train/colbert
bash train_colbert.sh

ランキング（リランカー、クロスエンコーダー）モデル

• オープンソースのリランカー モデル (bge-rerank、bce-rerank など) の微調整をサポートします。
• 微調整用に 2 種類のデータをサポートします。
  • クエリとドキュメント間の相関関係は 2 つのカテゴリに分類されます (1 は関連性を表し、0 は無関係を表します)。
  • クエリとドキュメントの相関関係がスコアです。 (蒸留タスク)

リランカー モデルのプロセスを微調整します。詳細なプロセスについては、モデル ディレクトリのチュートリアルを参照してください。

 cd ./rag_retrieval/train/reranker
bash train_reranker.sh

実験結果

MTEB リランキング タスクにおけるリランカー モデルの結果

モデル	モデルサイズ(GB)	T2リランキング	MMarco再ランキング	CMedQAv1	CMedQAv2	平均
bge-reranker-base	1.11	67.28	35.46	81.27	84.10	67.03
bce-reranker-base_v1	1.11	70.25	34.13	79.64	81.31	66.33
ラグ検索リランカー	0.41	67.33	31.57	83.54	86.03	67.12

このうち、rag-retrieval-reranker は、RAG-Retrieval コードを使用して hfl/chinese-roberta-wwm-ext モデルを学習させるもので、学習データは bge-rerank モデルの学習データを使用します。

MTEB 再ランキング タスクにおけるコルベール モデルの結果

モデル	モデルサイズ(GB)	薄暗い	T2リランキング	MMarco再ランキング	CMedQAv1	CMedQAv2	平均
bge-m3-コルベール	2.24	1024	66.82	26.71	75.88	76.83	61.56
ぼろ回収コルベール	0.41	1024	66.85	31.46	81.05	84.22	65.90

このうち、rag-retrieval-colbert は RAG-Retrieval コードを使用して hfl/chinese-roberta-wwm-ext モデルを学習させたもので、学習データは bge-rerank モデルの学習データを使用します。

現場のデータを使用してオープンソースの BGE シリーズ モデルを微調整する

モデル	T2ランキング
bge-v1.5-embedding	66.49
bge-v1.5-embedding Finetune	67.15	+0.66
bge-m3-コルベール	66.82
bge-m3-colbertファインチューン	67.22	+0.40
bge-reranker-base	67.28
bge-reranker-baseファインチューン	67.57	+0.29

最後に微調整が付いているものは、RAG-Retrieval を使用して、対応するオープンソース モデルに基づいて結果を微調整し続けることを意味します。トレーニング データは T2-Reranking トレーニング セットを使用します。

bge の 3 つのオープンソース モデルにはすでにトレーニング セットに T2-Reranking が含まれており、データは比較的一般的なため、このデータを使用して微調整を続けることによるパフォーマンス向上の効果は大きくないことに注意してください。垂直ドメイン データ セットを使用してオープン ソース モデルの微調整を続けると、パフォーマンスの向上がさらに大きくなります。

スターの歴史

ライセンス

RAG-Retrieval は、MIT ライセンスに基づいてライセンスされています。