rag arena

RAGアリーナ

RAG Arena は、LangChain と連携してクエリが複数の応答を受け取る RAG チャットボット エクスペリエンスを提供する、私の mendable.ai を作成したオープンソースの Next.js プロジェクトです。ユーザーはこれらの応答に投票し、ぼかしを解除して使用したレトリバーを明らかにし、データ RAG メソッドによってチャットボットを区別します。このプロジェクトはデータベース操作に Supabase を利用しており、データベースからのデータを表示するリアルタイム リーダーボードを備えています。

インストール

システムにpnpmがインストールされていることを確認してください。そうでない場合は、次の方法でインストールします。

npm install -g pnpm

プロジェクト リポジトリのクローンを作成します。

git clone https://github.com/mendableai/rag-arena

プロジェクト ディレクトリに移動し、依存関係をインストールします。

 cd RAG-arena
pnpm i

環境変数を構成します。

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

開発 (nextjs) Web サーバーを開始します。

pnpm dev

Pythonサーバーの実行

 cd python_service

poetry install

* (詩がない場合は、pip install 詩を使用して ID を追加してください)

Neo4j グラフ ストアのアクティブ化

Graph Rag レトリーバーの場合は、グラフ ストアを構築するか、次の行のコメントを解除してサーバーに「create_neo4j_graph_store」関数 ( /python_service/retrievers/neo4j_retriever.pyにローカライズされている) を自動的に実行させる必要があります。

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

data/chunksで使用されるデータによっては、これには時間がかかります。最後に、 neo/storageディレクトリにグラフ ストアの永続化データがローカルに設定されます。

インデックスを初めてロードする

Graph RAG を使用できるようにするには、インデックスをロードしてキャッシュする必要があります。 load_index()関数は、 python_service/app.py内でこれを行います。そのため、最初の実行では、 python_service/index/cacheにキャッシュされた .pkl ファイルを作成するのに時間がかかることがあります。

デバッグモードでローカルでFlaskサーバーを実行する

poetry run flask run --debug

ブラウザで http://localhost:3000 を開いて結果を確認します。

アーキテクチャの概要

摂取システム

• パス: app/api/ingest/route.ts
• 説明:このモジュールは、記事をベクター データベースに取り込み、将来のクエリで取得できるようにする役割を果たします。
• 実装の詳細:
  • Splitter: LangChain のRecursiveCharacterTextSplitter利用して効果的なテキスト分割を行います。
  • 埋め込み: OpenAIEmbeddingsを利用してドキュメントの埋め込みを生成します。
  • ストレージ:処理されたドキュメントを Supabase に保存するためにSupabaseVectorStoreを使用します。

ダイナミックレトリバー

• パス: app/api/retrievers/dynamic-retriever/route.ts
• 説明:ユーザー入力に基づいてさまざまな取得ツールを動的に選択して使用し、関連するドキュメントを取得します。
• 主な特徴:
  • レート制限:負荷を管理し、公平な使用を確保するためにレート制限を実装します。
  • ドキュメント RAG:ユーザーのクエリに最も関連するドキュメントを取得します。
  • OpenAI 統合: OpenAI の API と対話して、ドキュメント照合用の SupabaseVectorStore を利用してチャットの完了を強化します。

投票システム

• パス： actions/voting-system.ts
• 目的:取得した回答に対する投票の背後にあるロジックを監督します。これは、システムの学習と適応にとって重要です。
• 機能:
  • 投票追跡:各レトリバーの投票数、テスト回数、Elo 評価を更新します。
  • Elo 調整:レトリーバーがテストされた平均回数に基づいて Elo 評価を調整し、公平性と正確性を促進します。

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

データベーススキーマ

• テーブル名:リーダーボード
• 内容: id 、 retriever 、 elo 、 votes 、 times_tested 、 full_name 、 description 、およびlinkを含む、各取得者の重要なデータを保持します。

RAG 関数の概要

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

このセクションではapp/api/retrievers/dynamic-retriever/tools/functions.tsで定義されているさまざまな RAG 関数の概要を説明し、プロジェクトのアーキテクチャ内でのその目的と実装について詳しく説明します。これらの機能はドキュメント RAG プロセスで重要な役割を果たし、さまざまな戦略とテクノロジーを活用してパフォーマンスと精度を最適化します。

ベクターストア

• 使用する場合:迅速かつ簡単な解決策を求める初心者に最適です。
• 説明:この関数は、各テキスト部分の埋め込み作成の簡単さを活用し、ドキュメント RAG の最もアクセスしやすい開始点となります。

親文書

• 使用する場合:個別にインデックスが付けられているが、全体として取得する必要がある、小さく別個の情報の塊に分割されたドキュメントに最適です。
• 説明:ドキュメントごとに複数のチャンクのインデックスを作成し、埋め込みスペースで最も類似したチャンクを特定して、個々のチャンクだけでなく親ドキュメント全体を取得します。

マルチベクトル

• 使用する場合:ドキュメントのテキスト自体よりも、インデックス作成に関連する情報を抽出できる場合に適しています。
• 説明:ドキュメントごとに複数のベクトルを作成します。各ベクトルはテキストの概要、仮説上の質問、またはその他の形式の抽出された情報を表す可能性があります。

コンテキスト圧縮

• 使用する場合:取得したドキュメントに無関係な情報が過剰に含まれており、主要なクエリ応答の邪魔になる場合に役立ちます。
• 説明:別の取得ツールに後処理ステップを追加し、取得したドキュメントから最も関連性の高い情報のみを抽出します。これは、埋め込みまたは LLM を使用して実現できます。

時間加重

• 使用する場合:意味的な類似性と最新性に基づいて最新のドキュメントを取得することを目的として、タイムスタンプが関連付けられたドキュメントに最適です。
• 説明:セマンティックな類似性とドキュメントのタイムスタンプのバランスをとることでドキュメントを取得し、RAG プロセスで最新のドキュメントが優先されるようにします。

マルチクエリレトリバー

• 使用する場合:包括的な応答のために複数の個別の情報を必要とする複雑なクエリに最適です。
• 説明:単一の入力から複数のクエリを生成し、元のクエリに完全に答えるためのさまざまなトピックにわたる情報のニーズに対応します。このアプローチでは、生成されたクエリごとにドキュメントを取得し、完全な応答を保証します。

貢献する

貢献は大歓迎です!標準のフォークとプルリクエストのワークフローに従ってください。プロジェクトに存在するコーディング スタイルとパターンを必ず遵守し、新機能やバグ修正のテストを作成してください。

ライセンス

RAG Arena はオープンソースであり、MIT ライセンスに基づいてリリースされています。詳細については、LICENSE ファイルを参照してください。