bRAG langchain

検索拡張生成 (RAG) プロジェクト

If this project helps you, consider buying me a coffee ☕. Your support helps me keep contributing to the open-source community!

bRAGAI の公式プラットフォームは間もなく開始されます。待機リストに登録して、早期採用者の 1 人になりましょう!

---

このリポジトリには、さまざまなアプリケーション向けの検索拡張生成 (RAG) の包括的な調査が含まれています。各ノートブックには、入門レベルからマルチクエリやカスタム RAG ビルドなどの高度な実装まで、RAG を設定して実験するための詳細な実践ガイドが提供されています。

プロジェクトの構造

すぐに始めたい場合は、 full_basic_rag.ipynbファイルをチェックしてください。このファイルには、完全にカスタマイズ可能な RAG チャットボットの定型スターター コードが含まれています。

必ず仮想環境でファイルを実行してください (「チェックアウト」セクションGet Started 」)

次のノートブックは、ディレクトリtutorial_notebooks/の下にあります。

[1]_rag_setup_overview.ipynb

この入門ノートでは、RAG アーキテクチャとその基本的なセットアップの概要を説明します。ノートブックは次のように説明します。

• 環境設定: 環境の設定、必要なライブラリのインストール、API のセットアップを行います。
• 初期データのロード: 基本的なドキュメント ローダーとデータの前処理方法。
• エンベディングの生成: OpenAI のエンベディングを含む、さまざまなモデルを使用してエンベディングを生成します。
• Vector Store : 効率的な類似性検索のためのベクター ストア (ChromaDB/Pinecone) をセットアップします。
• 基本的な RAG パイプライン: ベースラインとして機能する単純な取得および生成パイプラインを作成します。

[2]_rag_with_multi_query.ipynb

このノートブックは基本に基づいて、RAG パイプラインでのマルチクエリ手法を紹介し、以下を検討します。

• マルチクエリ設定: 複数のクエリを設定して検索を多様化します。
• 高度な埋め込み技術: 複数の埋め込みモデルを利用して検索を改良します。
• マルチクエリを使用したパイプライン: マルチクエリ処理を実装して、応答生成の関連性を向上させます。
• 比較と分析: 単一クエリ パイプラインとの結果を比較し、パフォーマンスの向上を分析します。

[3]_rag_routing_and_query_construction.ipynb

このノートブックでは、RAG パイプラインのカスタマイズについて詳しく説明します。内容は次のとおりです。

• 論理ルーティング:プログラミング言語に基づいてユーザー クエリを適切なデータ ソースに分類するための関数ベースのルーティングを実装します。
• セマンティック ルーティング:埋め込みとコサイン類似度を使用して質問を数学または物理プロンプトに誘導し、応答精度を最適化します。
• メタデータ フィルターのクエリ構造化: YouTube チュートリアル メタデータの構造化検索スキーマを定義し、高度なフィルター処理 (再生回数、公開日など) を有効にします。
• 構造化検索プロンプト: LLM プロンプトを利用して、ユーザー入力に基づいて関連コンテンツを取得するためのデータベース クエリを生成します。
• ベクター ストアとの統合:構造化クエリをベクター ストアにリンクして、効率的なデータ取得を実現します。

[4]_rag_indexing_and_advanced_retrieval.ipynb

前のカスタマイズから引き続き、このノートブックでは次のことを検討します。

• ドキュメントのチャンク化に関する序文:ドキュメントのチャンク化手法に関する外部リソースを指します。
• マルチ表現インデックス作成:異なる埋め込みと表現を持つドキュメントを処理するためのマルチベクトル インデックス構造を設定します。
• 概要用のインメモリ ストレージ: InMemoryByteStore を使用して、親ドキュメントと一緒にドキュメントの概要を保存し、効率的な取得を可能にします。
• MultiVectorRetriever セットアップ:複数のベクトル表現を統合して、ユーザーのクエリに基づいて関連ドキュメントを取得します。
• RAPTOR の実装:高度なインデックス作成および検索モデルである RAPTOR を探索し、詳細なリソースにリンクします。
• ColBERT 統合: ColBERT ベースのトークンレベルのベクトルのインデックス作成と検索を実証し、文脈上の意味をきめ細かいレベルでキャプチャします。
• ColBERT を使用した Wikipedia の例:デモンストレーション用に ColBERT 検索モデルを使用して、宮崎駿に関する情報を取得します。

[5]_rag_retrieval_and_reranking.ipynb

この最後のノートブックには、スケーラビリティと最適化に重点を置いた RAG システム コンポーネントがまとめられています。

• ドキュメントのロードと分割:インデックス付けのためにドキュメントをロードしてチャンク化し、ベクトル ストレージ用に準備します。
• RAG-Fusion による複数クエリの生成:プロンプトベースのアプローチを使用して、単一の入力質問から複数の検索クエリを生成します。
• Reciprocal Rank Fusion (RRF):複数の取得リストを再ランク付けし、結果をマージして関連性を向上させるための RRF を実装します。
• 取得と RAG チェーンのセットアップ:融合されたランキングと RAG チェーンを使用して、コンテキストに関連した情報を取得することで、クエリに応答するための検索チェーンを構築します。
• Cohereの再ランキング:追加のコンテキスト圧縮と洗練のためのCohereのモデルを使用した再ランキングを示します。
• CRAG および Self-RAG 取得: CRAG や Self-RAG などの高度な取得アプローチを例へのリンクとともに説明します。
• ロングコンテキストの影響の調査: RAG モデルに対するロングコンテキストの取得の影響を説明するリソースへのリンク。

はじめる

前提条件: Python 3.11.7 (推奨)

1. リポジトリのクローンを作成します。

    git clone https://github.com/bRAGAI/bRAG-langchain.git 
   
   cd bRAG-langchain
   

2. 仮想環境を作成する

    python -m venv venv
   
   source venv/bin/activate
   

3. 依存関係をインストールする: requirements.txtにリストされている必要なパッケージを必ずインストールしてください。

   pip install -r requirements.txt

4. ノートブックを実行します。セットアップ プロセスに慣れるために、 [1]_rag_setup_overview.ipynbから始めます。他のノートブックを順番に進めて、より高度な RAG コンセプトを構築して実験します。

5. 環境変数を設定する:

   • ルート ディレクトリに.env.exampleファイルを複製し、 .envという名前を付け、次のキーを含めます (実際のキーに置き換えます)。

      #LLM Modal
     OPENAI_API_KEY="your-api-key"
     
     #LangSmith
     LANGCHAIN_TRACING_V2=true
     LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
     LANGCHAIN_API_KEY="your-api-key"
     LANGCHAIN_PROJECT="your-project-name"
     
     #Pinecone Vector Database
     PINECONE_INDEX_NAME="your-project-index"
     PINECONE_API_HOST="your-host-url"
     PINECONE_API_KEY="your-api-key"
     

6. ノートブックの順序: 構造化された方法でプロジェクトをフォローするには:

   • [1]_rag_setup_overview.ipynbから開始します

   • [2]_rag_with_multi_query.ipynbに進みます。

   • 次に、 [3]_rag_routing_and_query_construction.ipynbを実行します。

   • [4]_rag_indexing_and_advanced_retrieval.ipynbに進みます。

   • [5]_rag_retrieval_and_reranking.ipynbで終了します

使用法

環境をセットアップし、ノートブックを順番に実行すると、次のことが可能になります。

1. 検索拡張生成の実験: [1]_rag_setup_overview.ipynbの基本セットアップを使用して、RAG の基本を理解します。

2. マルチクエリの実装: [2]_rag_with_multi_query.ipynbでマルチクエリ技術を導入して、応答の関連性を向上させる方法を学びます。

入荷したノートブック (作業中)

1. RAGAS + LangSmith によるコンテキストの精度
   • RAGAS と LangSmith を使用して RAG のコンテキストの精度、関連性、応答の精度を評価するためのガイド。
2. RAG アプリケーションのデプロイ
   • RAG アプリケーションをデプロイする方法のガイド

 The notebooks and visual diagrams were inspired by Lance Martin's LangChain Tutorial.