bRAG langchain

检索增强生成 (RAG) 项目

If this project helps you, consider buying me a coffee ☕. Your support helps me keep contributing to the open-source community!

bRAGAI官方平台即将上线。加入候补名单，成为早期采用者之一！

---

该存储库包含对各种应用程序的检索增强生成（RAG）的全面探索。每个笔记本都提供了详细的实践指南，用于设置和试验 RAG，从入门级到高级实现，包括多重查询和自定义 RAG 构建。

项目结构

如果您想直接跳入其中，请查看文件full_basic_rag.ipynb -> 该文件将为您提供完全可定制的 RAG 聊天机器人的样板起始代码。

确保在虚拟环境中运行您的文件（查看“ Get Started ”部分）

可以在目录tutorial_notebooks/下找到以下笔记本。

[1]_rag_setup_overview.ipynb

本介绍性笔记本概述了 RAG 架构及其基本设置。笔记本走过：

• 环境设置：配置环境、安装必要的库和 API 设置。
• 初始数据加载：基本文档加载器和数据预处理方法。
• Embedding Generation ：使用各种模型生成嵌入，包括 OpenAI 的嵌入。
• 矢量存储：设置矢量存储（ChromaDB/Pinecone）以进行高效的相似性搜索。
• 基本 RAG 管道：创建一个简单的检索和生成管道作为基线。

[2]_rag_with_multi_query.ipynb

本笔记本以基础知识为基础，介绍了 RAG 管道中的多重查询技术，并探索：

• 多查询设置：配置多个查询以使检索多样化。
• 高级嵌入技术：利用多个嵌入模型来完善检索。
• 具有多重查询的管道：实施多重查询处理以提高响应生成的相关性。
• 比较和分析：将结果与单查询管道进行比较并分析性能改进。

[3]_rag_routing_and_query_construction.ipynb

本笔记本深入研究了定制 RAG 管道。它涵盖：

• 逻辑路由：实现基于功能的路由，根据编程语言将用户查询分类到适当的数据源。
• 语义路由：使用嵌入和余弦相似性将问题引导至数学或物理提示，从而优化响应准确性。
• 元数据过滤器的查询结构：定义 YouTube 教程元数据的结构化搜索架构，支持高级过滤（例如，按观看次数、发布日期）。
• 结构化搜索提示：利用 LLM 提示生成数据库查询，以便根据用户输入检索相关内容。
• 与向量存储集成：将结构化查询链接到向量存储以实现高效的数据检索。

[4]_rag_indexing_and_advanced_retrieval.ipynb

延续之前的定制，本笔记本探索：

• 文档分块前言：指向文档分块技术的外部资源。
• 多表示索引：建立多向量索引结构来处理具有不同嵌入和表示的文档。
• 摘要内存存储：使用 InMemoryByteStore 将文档摘要与父文档一起存储，从而实现高效检索。
• MultiVectorRetriever 设置：集成多个向量表示以根据用户查询检索相关文档。
• RAPTOR 实施：探索 RAPTOR，一种高级索引和检索模型，链接到深入的资源。
• ColBERT 集成：演示基于 ColBERT 的标记级向量索引和检索，它可以在细粒度级别捕获上下文含义。
• Wikipedia Example with ColBERT：使用 ColBERT 检索模型检索有关宫崎骏的信息进行演示。

[5]_rag_retrieval_and_reranking.ipynb

最后一款笔记本汇集了 RAG 系统组件，重点关注可扩展性和优化：

• 文档加载和拆分：加载文档并对其进行分块以进行索引，为矢量存储做好准备。
• 使用 RAG-Fusion 生成多查询：使用基于提示的方法从单个输入问题生成多个搜索查询。
• 倒数排名融合 (RRF)：实现 RRF 以对多个检索列表重新排名，合并结果以提高相关性。
• 检索器和 RAG 链设置：构建用于回答查询的检索链，使用融合排名和 RAG 链来提取上下文相关信息。
• Cohere 重新排名：演示使用 Cohere 模型进行重新排名，以实现额外的上下文压缩和细化。
• CRAG 和 Self-RAG 检索：探索 CRAG 和 Self-RAG 等高级检索方法，并提供示例链接。
• 长上下文影响的探索：解释长上下文检索对 RAG 模型影响的资源链接。

入门

先决条件：Python 3.11.7（首选）

1. 克隆存储库：

    git clone https://github.com/bRAGAI/bRAG-langchain.git 
   
   cd bRAG-langchain
   

2. 创建虚拟环境

    python -m venv venv
   
   source venv/bin/activate
   

3. 安装依赖项：确保安装requirements.txt中列出的所需软件包。

   pip install -r requirements.txt

4. 运行笔记本：从[1]_rag_setup_overview.ipynb开始熟悉设置过程。按顺序继续浏览其他笔记本，以构建和试验更高级的 RAG 概念。

5. 设置环境变量：

   • 复制根目录中的.env.example文件并将其命名为.env并包含以下键（替换为您的实际键）：

      #LLM Modal
     OPENAI_API_KEY="your-api-key"
     
     #LangSmith
     LANGCHAIN_TRACING_V2=true
     LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
     LANGCHAIN_API_KEY="your-api-key"
     LANGCHAIN_PROJECT="your-project-name"
     
     #Pinecone Vector Database
     PINECONE_INDEX_NAME="your-project-index"
     PINECONE_API_HOST="your-host-url"
     PINECONE_API_KEY="your-api-key"
     

6. 笔记本顺序：以结构化方式跟踪项目：

   • 从[1]_rag_setup_overview.ipynb开始

   • 继续[2]_rag_with_multi_query.ipynb

   • 然后遍历[3]_rag_routing_and_query_construction.ipynb

   • 继续[4]_rag_indexing_and_advanced_retrieval.ipynb

   • 以[5]_rag_retrieval_and_reranking.ipynb结束

用法

设置环境并按顺序运行笔记本后，您可以：

1. 尝试检索增强生成：使用[1]_rag_setup_overview.ipynb中的基础设置来了解 RAG 的基础知识。

2. 实现多重查询：了解如何通过在[2]_rag_with_multi_query.ipynb中引入多重查询技术来提高响应相关性。

传入笔记本（正在进行中）

1. RAGAS + LangSmith 的上下文精确度
   • 有关使用 RAGAS 和 LangSmith 评估 RAG 中的上下文精度、相关性和响应准确性的指南。
2. 部署 RAG 应用程序
   • 有关如何部署 RAG 应用程序的指南

 The notebooks and visual diagrams were inspired by Lance Martin's LangChain Tutorial.