rag arena

拉格竞技场

RAG Arena 是一个开源 Next.js 项目，由我的 mendable.ai 制作，它与 LangChain 交互，提供 RAG 聊天机器人体验，其中查询会收到多个响应。用户对这些响应进行投票，然后将其清晰地显示所使用的检索器，通过数据 RAG 方法来区分聊天机器人。该项目利用 Supabase 进行数据库操作，并具有显示数据库数据的实时排行榜。

安装

确保您的系统上安装了pnpm 。如果没有，请通过以下方式安装：

npm install -g pnpm

克隆项目存储库：

git clone https://github.com/mendableai/rag-arena

导航到项目目录并安装依赖项：

 cd RAG-arena
pnpm i

配置您的环境变量：

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

启动开发（nextjs）Web服务器：

pnpm dev

运行 python 服务器

 cd python_service

poetry install

*（如果你没有诗歌，只需使用 pip install诗添加 id）

激活 Neo4j 图存储

对于 Graph Rag 检索器，您需要构建图形存储，或者通过取消注释以下行让服务器自动运行“create_neo4j_graph_store”函数（本地化在/python_service/retrievers/neo4j_retriever.py中）：

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

这将需要一段时间，具体取决于data/chunks中使用的数据。最后，您的neo/storage目录将填充本地图形存储的持久数据。

首次加载索引

您将需要加载并缓存索引，以便可以使用 Graph RAG。 load_index()函数在python_service/app.py中为您执行此操作。因此，在第一次执行时，可能需要一段时间才能创建放置在python_service/index/cache中的缓存 .pkl 文件。

以调试模式在本地运行 Flask 服务器

poetry run flask run --debug

用浏览器打开http://localhost:3000查看结果。

架构概述

摄取系统

• 路径： app/api/ingest/route.ts
• 描述：该模块负责将文章提取到矢量数据库中，以便将来查询时可以检索它们。
• 实施细节：
  • Splitter：利用 LangChain 的RecursiveCharacterTextSplitter进行有效的文本分割。
  • 嵌入：利用OpenAIEmbeddings生成文档嵌入。
  • 存储：使用SupabaseVectorStore将处理后的文档存储在Supabase中。

动态检索器

• 路径： app/api/retrievers/dynamic-retriever/route.ts
• 描述：根据用户输入动态选择并使用不同的检索器来获取相关文档。
• 主要特点：
  • 速率限制：实施速率限制来管理负载并确保公平使用。
  • 文档 RAG：检索与用户查询最相关的文档。
  • OpenAI 集成：与 OpenAI 的 API 交互以增强聊天完成度，由 SupabaseVectorStore 提供支持以进行文档匹配。

投票系统

• 路径： actions/voting-system.ts
• 目的：监督对检索到的答案进行投票背后的逻辑，这对于系统的学习和适应至关重要。
• 功能：
  • 投票跟踪：更新每只猎犬的投票数、测试次数和 Elo 评级。
  • Elo 调整：根据猎犬测试的平均次数调整 Elo 评级，提高公平性和准确性。

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

数据库架构

• 表名称：排行榜
• 内容：保存每个检索器的关键数据，包括id 、 retriever 、 elo 、 votes 、 times_tested 、 full_name 、 description和link 。

RAG 功能概述

（https://js.langchain.com/docs/modules/data_connection/retrievers/）

本节概述了app/api/retrievers/dynamic-retriever/tools/functions.ts中定义的各种 RAG 函数，详细说明了它们在项目架构中的用途和实现。这些功能在文档 RAG 流程中发挥着至关重要的作用，利用不同的策略和技术来优化性能和准确性。

矢量商店

• 何时使用：非常适合寻求快速、简单解决方案的初学者。
• 描述：此函数利用了为每个文本片段创建嵌入的简单性，使其成为文档 RAG 最容易访问的起点。

父文档

• 何时使用：最适合分为较小的、不同的信息块的文档，这些信息块单独索引，但应作为一个整体进行检索。
• 描述：它为每个文档的多个块建立索引，识别嵌入空间中最相似的块以检索整个父文档，而不仅仅是单个块。

多向量

• 何时使用：适合当您可以提取比文档文本本身更相关的索引信息时。
• 描述：为每个文档创建多个向量，每个向量可能代表文本摘要、假设问题或其他形式的精炼信息。

上下文压缩

• 何时使用：当检索到的文档包含过多不相关信息、分散对核心查询响应的注意力时非常有用。
• 描述：向另一个检索器添加后处理步骤，从检索到的文档中仅提取最相关的信息，这可以使用嵌入或法学硕士来完成。

时间加权

• 何时使用：非常适合具有关联时间戳的文档，旨在根据语义相似性和新近度检索最新文档。
• 描述：通过平衡语义相似性与文档时间戳来检索文档，确保最近的文档在 RAG 过程中具有优先级。

多查询检索器

• 何时使用：最适合需要多个不同信息以获得全面响应的复杂查询。
• 描述：从单个输入生成多个查询，满足跨不同主题的信息需求，以完全回答原始查询。这种方法为每个生成的查询获取文档，确保得到彻底的响应。

贡献

欢迎贡献！请遵循标准的分叉和拉取请求工作流程。确保您遵守项目中存在的编码风格和模式，并为新功能或错误修复编写测试。

执照

RAG Arena 是开源的，并根据 MIT 许可证发布。有关详细信息，请参阅许可证文件。