pankb_llm

PanKB 法學碩士（開發）

概述

基於 Langchain + Streamlit + Azure Cosmos DB for MongoDB (vCore) + Docker 的 GenAI 助理。

作者：

• 資料預處理、LLM、DEV 向量資料庫建立 (Chroma)、檢索器、Streamlit Web 應用程式：Binhuan Sun, [email protected]
• 將 DEV 向量資料庫 (Chroma) 變更為 PROD 向量資料庫實例（Azure Cosmos DB for MongoDB (vCore)），並根據 Cosmos DB 限制調整嵌入的選擇、PROD DB 索引建立、docker 化、streamlit 應用程式與Django 框架模板， github 儲存庫維護：Pashkova Liubov，[email protected]

伺服器配置

在 Linux Ubuntu 20.04 上測試（可能需要針對其他系統進行調整）。

僅用於 AI Assistant 應用部署和向量資料庫建立的最低硬體要求（不包括 PanKB DB、ETL 和 AI Assistant 應用程式）：

• 8GB記憶體
• 8GB磁碟空間
• 4 個 CPU 核心（例如，用於 PyCharm 遠端 IDE 開發）

系統需求：

• Docker 和 Docker 組合
• git

重要考慮因素和限制

DB 填充過程可能需要長達 90-150 分鐘。這取決於 DEV 伺服器和 Cosmos DB 分片叢集配置。填充集合的 MongoDB 儲存大小約為 1.0 GiB，包括。索引。

請注意以下限制和注意事項：

• 如果我們使用 Azure Cosmos DB for MongoDB 實例作為向量資料庫，我們只能嘗試維度 <= 2000 的嵌入，因為對於 Azure Cosmos DB for MongoDB，支援的最大維度數為 2000。高，並且並不總是能顯著提高性能。範例：https://platform.openai.com/docs/guides/embeddings
• 我們必須建立相似性索引。此索引的維數必須與嵌入的維數相同。
• Azure M30 層（適用於 MongoDB 的 Azure Cosmos DB）僅支援向量 ivf索引類型。要建立vector-hnsw索引，我們必須升級到M40層（如果我們不在Azure入口網站上選擇「高可用性」選項，則其成本是M30的兩倍）。
• 我們必須在資料插入之前建立 HNSW 索引（儘管它顯著增加了總資料插入時間）。如果我們之後這樣做，我們就無法避免超時類型的錯誤。原因可能是如果我們使用 IaaS，我們無法更改叢集配置選項。
• 這裡給出了 HNSW 索引演算法及其參數（例如 efConstruction 和 M）最全面的解釋：https://www.pinecone.io/learn/series/faiss/hnsw/。我們目前的參數可能不是最佳的，因為它們是根據 ChromaDB 的預設設定選擇的，ChromaDB 最初用作開發向量資料庫。

腳本執行

按以下格式建立 .env 檔案：

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

資料庫填充腳本不必在 Docker 容器中執行。可以使用以下命令來完成：

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

用於建置 docker 映像並重新建立包含 Streamlit 應用程式的 docker 容器的命令：

 docker compose up -d --build --force-recreate

dockerized Streamlit 應用程式不必在tmux中執行。即使虛擬機器重新啟動後，它也將始終啟動並運行（透過使用 docker compose 檔案中的選項restart: always來實現）。

可以使用以下命令檢查 docker 容器的狀態：

 docker ps

該命令應該產生大約。如果部署成功，將輸出以下內容：

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm