pankb_llm

PanKB LLM (DEV)

概要

Langchain + Streamlit + Azure Cosmos DB for MongoDB (vCore) + Docker に基づく GenAI アシスタント。

著者:

• データ前処理、LLM、DEV ベクター DB 作成 (Chroma)、レトリーバー、Streamlit Web アプリ: Binhuan Sun、[email protected]
• DEV ベクター DB (Chroma) を PROD ベクター DB インスタンス (Azure Cosmos DB for MongoDB (vCore)) に変更し、Cosmos DB の制限、PROD DB インデックスの作成、Docker 化、Streamlit アプリとの統合に合わせて埋め込みの選択を調整します。 Django フレームワーク テンプレート、github リポジトリのメンテナンス: Pashkova Liubov、[email protected]

サーバー構成

Linux Ubuntu 20.04 でテスト済み (他のシステムでは調整が必要な場合があります)。

AI アシスタント アプリの展開と Vector データベースの作成のみの最小ハードウェア要件 (PanKB DB、ETL、および AI アシスタント アプリを除く):

• 8GB RAM
• 8GBのディスク容量
• 4 CPU コア (例: PyCharm リモート IDE 開発用)

システム要件:

• Docker と Docker Compose
• Git

重要な考慮事項と制限事項

DB 作成プロセスには最大 90 ～ 150 分かかる場合があります。これは、DEV サーバーと Cosmos DB シャード クラスター構成によって異なります。設定されたコレクションの MongoDB ストレージ サイズは、最大 1.0 GiB です。インデックス。

次の制限事項と考慮事項に注意してください。

• Azure Cosmos DB for MongoDB インスタンスをベクター DB として使用する場合、Azure Cosmos DB for MongoDB ではサポートされるディメンションの最大数が 2000 であるため、ディメンションが 2000 以下の埋め込みのみを試すことができます。埋め込みはより高価であり、必ずしもパフォーマンスが大幅に向上するとは限りません。例: https://platform.openai.com/docs/guides/embeddings
• 類似性インデックスを作成する必要があります。このインデックスの次元数は、埋め込みの次元数と同じである必要があります。
• Azure M30 層 (MongoDB 用の Azure Cosmos DB) は、 vector-ivfインデックス タイプのみをサポートします。 Vector-hnswインデックスを作成するには、M40 層にアップグレードする必要があります (Azure Portal で「高可用性」オプションを選択しない場合、M30 の 2 倍のコストがかかります)。
• データ挿入前に HNSW インデックスを作成する必要があります (ただし、総データ挿入時間は大幅に増加します)。後で実行すると、タイムアウトタイプのエラーを避けることができません。理由としては、IaaS を使用する場合にクラスター構成オプションを変更できないことが考えられます。
• HNSW インデックス付けアルゴリズムとそのパラメーター (efConstruction や M など) の最も包括的な説明は、https://www.pinecone.io/learn/series/faiss/hnsw/ にあります。現在のパラメータは、最初は開発ベクター データベースとして機能していた ChromaDB のデフォルト設定に従って選択されているため、最適ではない可能性があります。

スクリプトの実行

次の形式で .env ファイルを作成します。

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

DB 作成スクリプトは、Docker コンテナーで実行する必要はありません。これは次のコマンドで実行できます。

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

Docker イメージを構築し、Streamlit アプリを内部に含む Docker コンテナを再作成するためのコマンド:

 docker compose up -d --build --force-recreate

Docker 化された streamlit アプリはtmuxで実行する必要はありません。 VM が再起動された後でも、常に稼働し続けます (docker compose ファイルのrestart: alwaysオプションを使用して実現します)。

Docker コンテナのステータスは、次のコマンドで確認できます。

 docker ps

このコマンドはおよその結果を生成するはずです。デプロイが成功した場合は、特に次の出力が表示されます。

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm