pankb_llm

PanKB 法学硕士（开发）

概述

基于 Langchain + Streamlit + Azure Cosmos DB for MongoDB (vCore) + Docker 的 GenAI 助手。

作者：

• 数据预处理、LLM、DEV 矢量数据库创建（Chroma）、检索器、Streamlit Web 应用程序：Binhuan Sun，[email protected]
• 将 DEV 矢量数据库 (Chroma) 更改为 PROD 矢量数据库实例（Azure Cosmos DB for MongoDB (vCore)），并根据 Cosmos DB 限制调整嵌入的选择、PROD DB 索引创建、docker 化、streamlit 应用程序与Django 框架模板，github 存储库维护：Pashkova Liubov，[email protected]

服务器配置

在 Linux Ubuntu 20.04 上测试（可能需要针对其他系统进行调整）。

仅用于 AI Assistant 应用部署和矢量数据库创建的最低硬件要求（不包括 PanKB DB、ETL 和 AI Assistant 应用）：

• 8GB内存
• 8GB磁盘空间
• 4 个 CPU 核心（例如，用于 PyCharm 远程 IDE 开发）

系统要求：

• Docker 和 Docker 组合
• git

重要考虑因素和限制

DB 填充过程最多可能需要 90-150 分钟。这取决于 DEV 服务器和 Cosmos DB 分片集群配置。填充集合的 MongoDB 存储大小约为 1.0 GiB，包括。索引。

请注意以下限制和注意事项：

• 如果我们使用 Azure Cosmos DB for MongoDB 实例作为向量数据库，我们只能尝试维度 <= 2000 的嵌入，因为对于 Azure Cosmos DB for MongoDB，支持的最大维度数为 2000。也许它甚至更好，大嵌入成本更高，并且并不总是能显着提高性能。示例：https://platform.openai.com/docs/guides/embeddings
• 我们必须创建相似性索引。该索引的维度必须与嵌入的维度相同。
• Azure M30 层（适用于 MongoDB 的 Azure Cosmos DB）仅支持向量 ivf索引类型。要创建vector-hnsw索引，我们必须升级到M40层（如果我们不在Azure门户上选择“高可用性”选项，则其成本是M30的两倍）。
• 我们必须在数据插入之前创建 HNSW 索引（尽管它显着增加了总数据插入时间）。如果我们之后再这样做，我们就无法避免超时类型的错误。原因可能是如果我们使用 IaaS，我们无法更改集群配置选项。
• 这里给出了 HNSW 索引算法及其参数（例如 efConstruction 和 M）最全面的解释：https://www.pinecone.io/learn/series/faiss/hnsw/。我们当前的参数可能不是最佳的，因为它们是根据 ChromaDB 的默认设置选择的，ChromaDB 最初用作开发向量数据库。

脚本执行

按以下格式创建 .env 文件：

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

数据库填充脚本不必在 Docker 容器中执行。可以使用以下命令来完成：

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

用于构建 docker 映像并重新创建包含 Streamlit 应用程序的 docker 容器的命令：

 docker compose up -d --build --force-recreate

dockerized Streamlit 应用程序不必在tmux中执行。即使虚拟机重新启动后，它也将始终启动并运行（通过使用 docker compose 文件中的选项restart: always来实现）。

可以使用以下命令检查 docker 容器的状态：

 docker ps

该命令应该产生大约。如果部署成功，将输出以下内容：

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm