Explore RAG

RAG 取得テクニック

このプロジェクトでは、Python を使用したドキュメント検索のためのさまざまな検索手法を示します。実装される技術には、HyDe、Basic、逆ランク融合 (RRF)、融合検索、およびサブクエリ分解 (SQD) が含まれます。このプロジェクトでは、ユーザー インターフェイスに Streamlit を使用し、ドキュメントの処理と取得にさまざまなライブラリを使用します。

目次

• インストール
• 使用法
• 検索技術
  • ハイド
  • 基本
  • RRF
  • 融合
  • サブクエリの分解
• 貢献する
• ライセンス

インストール

1. リポジトリのクローンを作成します。

   git clone https://github.com/yourusername/yourrepository.git
   cd yourrepository

2. 必要な依存関係をインストールします。

   pip install -r requirements.txt

使用法

1. Streamlit アプリケーションを実行します。

   streamlit run app.py

2. サイドバーを使用して PDF ファイルをアップロードします。

3. サイドバーから取得手法を選択します。

4. テキスト入力ボックスにクエリを入力し、取得したドキュメントを表示します。

検索技術

ハイド

HyDe (Hypothetical Document) 検索は、クエリに基づいて仮説的な文書を生成し、類似した文書を検索します。

基本

基本的な検索では、単純な類似性検索を使用して、クエリに基づいてドキュメントを取得します。

RRF

Reciprocal Rank Fusion (RRF) は、複数の取得アルゴリズムの結果を組み合わせて、全体的な取得パフォーマンスを向上させます。

融合

フュージョン検索では、加重合計を使用してベクトル検索と BM25 検索結果を組み合わせて、最も関連性の高いドキュメントを取得します。

サブクエリの分解

サブクエリ分解 (SQD) は、クエリをサブクエリに分解し、サブクエリに基づいてドキュメントを取得する手法です。

貢献する

貢献は大歓迎です！改善やバグ修正が必要な場合は、問題をオープンするか、プル リクエストを送信してください。

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、 LICENSEファイルを参照してください。