bRAG langchain

檢索增強生成 (RAG) 項目

If this project helps you, consider buying me a coffee ☕. Your support helps me keep contributing to the open-source community!

bRAGAI官方平台即將上線。加入候補名單，成為早期採用者之一！

---

該存儲庫包含對各種應用程式的檢索增強生成（RAG）的全面探索。每個筆記本都提供了詳細的實踐指南，用於設定和試驗 RAG，從入門級到高級實現，包括多重查詢和自訂 RAG 建置。

專案結構

如果您想直接跳入其中，請查看檔案full_basic_rag.ipynb -> 該檔案將為您提供完全可自訂的 RAG 聊天機器人的樣板起始程式碼。

確保在虛擬環境中運行您的檔案（請查看“ Get Started ”部分）

可以在目錄tutorial_notebooks/下找到以下筆記本。

[1]_rag_setup_overview.ipynb

本介紹筆記本概述了 RAG 架構及其基本設定。筆記本走過：

• 環境設定：配置環境、安裝必要的函式庫和 API 設定。
• 初始資料載入：基本文件載入器和資料預處理方法。
• Embedding Generation ：使用各種模型產生嵌入，包括 OpenAI 的嵌入。
• 向量儲存：設定向量儲存（ChromaDB/Pinecone）以進行高效率的相似性搜尋。
• 基本 RAG 管道：建立一個簡單的檢索和生成管道作為基線。

[2]_rag_with_multi_query.ipynb

本筆記本以基礎知識為基礎，介紹了 RAG 管道中的多重查詢技術，並探索：

• 多重查詢設定：配置多個查詢以使檢索多樣化。
• 進階嵌入技術：利用多個嵌入模型來完善檢索。
• 具有多重查詢的管道：實施多重查詢處理以提高回應產生的相關性。
• 比較和分析：將結果與單一查詢管道進行比較並分析效能改進。

[3]_rag_routing_and_query_construction.ipynb

本筆記本深入研究了客製化 RAG 管道。它涵蓋：

• 邏輯路由：實作基於功能的路由，根據程式語言將使用者查詢分類到適當的資料來源。
• 語意路由：使用嵌入和餘弦相似性將問題引導至數學或物理提示，從而優化反應準確性。
• 元資料過濾器的查詢結構：定義 YouTube 教學元資料的結構化搜尋架構，支援進階過濾（例如，按觀看次數、發布日期）。
• 結構化搜尋提示：利用 LLM 提示產生資料庫查詢，以便根據使用者輸入檢索相關內容。
• 與向量儲存整合：將結構化查詢連結到向量儲存以實現高效的資料檢索。

[4]_rag_indexing_and_advanced_retrieval.ipynb

延續之前的定制，本筆記本探索：

• 文件分塊前言：指向文件分塊技術的外部資源。
• 多表示索引：建立多向量索引結構來處理具有不同嵌入和表示的文件。
• 摘要記憶體儲存：使用 InMemoryByteStore 將文件摘要與父文檔一起存儲，從而實現高效檢索。
• MultiVectorRetriever 設定：整合多個向量表示以根據使用者查詢檢索相關文件。
• RAPTOR 實作：探索 RAPTOR，一個進階索引和檢索模型，連結到深入的資源。
• ColBERT 整合：示範基於 ColBERT 的標記級向量索引和檢索，它可以在細粒度層級捕獲上下文含義。
• Wikipedia Example with ColBERT：使用 ColBERT 檢索模型檢索宮崎駿的資訊進行示範。

[5]_rag_retrieval_and_reranking.ipynb

最後一款筆記本匯集了 RAG 系統組件，重點在於可擴展性和優化：

• 文件載入和拆分：載入文件並對其進行分塊以進行索引，為向量儲存做好準備。
• 使用 RAG-Fusion 產生多個查詢：使用基於提示的方法從單一輸入問題產生多個搜尋查詢。
• 倒數排名融合 (RRF)：實現 RRF 以對多個檢索清單重新排名，合併結果以提高相關性。
• 檢索器和 RAG 鏈設定：建立用於回答查詢的檢索鏈，使用融合排名和 RAG 鏈來提取上下文相關資訊。
• Cohere 重新排名：示範使用 Cohere 模型進行重新排名，以實現額外的上下文壓縮和細化。
• CRAG 和 Self-RAG 檢索：探索 CRAG 和 Self-RAG 等高級檢索方法，並提供範例連結。
• 長上下文影響的探索：解釋長上下文檢索對 RAG 模型影響的資源連結。

入門

先修條件：Python 3.11.7（首選）

1. 克隆儲存庫：

    git clone https://github.com/bRAGAI/bRAG-langchain.git 
   
   cd bRAG-langchain
   

2. 建立虛擬環境

    python -m venv venv
   
   source venv/bin/activate
   

3. 安裝相依性：確保安裝requirements.txt中所列的所需軟體包。

   pip install -r requirements.txt

4. 執行筆記本：從[1]_rag_setup_overview.ipynb開始熟悉設定過程。依序繼續瀏覽其他筆記本，以建立和試驗更高級的 RAG 概念。

5. 設定環境變數：

   • 複製根目錄中的.env.example檔案並將其命名為.env並包含以下按鍵（替換為您的實際鍵）：

      #LLM Modal
     OPENAI_API_KEY="your-api-key"
     
     #LangSmith
     LANGCHAIN_TRACING_V2=true
     LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
     LANGCHAIN_API_KEY="your-api-key"
     LANGCHAIN_PROJECT="your-project-name"
     
     #Pinecone Vector Database
     PINECONE_INDEX_NAME="your-project-index"
     PINECONE_API_HOST="your-host-url"
     PINECONE_API_KEY="your-api-key"
     

6. 筆記本順序：以結構化方式追蹤項目：

   • 從[1]_rag_setup_overview.ipynb開始

   • 繼續[2]_rag_with_multi_query.ipynb

   • 然後遍歷[3]_rag_routing_and_query_construction.ipynb

   • 繼續[4]_rag_indexing_and_advanced_retrieval.ipynb

   • 以[5]_rag_retrieval_and_reranking.ipynb結束

用法

設定環境並按順序運行筆記本後，您可以：

1. 嘗試檢索增強生成：使用[1]_rag_setup_overview.ipynb中的基礎設定來了解 RAG 的基礎知識。

2. 實作多重查詢：了解如何透過在[2]_rag_with_multi_query.ipynb中引入多重查詢技術來提高回應相關性。

傳入筆記本（正在進行中）

1. RAGAS + LangSmith 的上下文精確度
   • 有關使用 RAGAS 和 LangSmith 評估 RAG 中的上下文精度、相關性和反應準確性的指南。
2. 部署 RAG 應用程式
   • 有關如何部署 RAG 應用程式的指南

 The notebooks and visual diagrams were inspired by Lance Martin's LangChain Tutorial.