pankb_llm

PanKB LLM (DEV)

Aperçu

Un assistant GenAI basé sur Langchain + Streamlit + Azure Cosmos DB pour MongoDB (vCore) + Docker.

Auteurs :

• Prétraitement des données, LLM, création de bases de données vectorielles DEV (Chroma), retriever, application web Streamlit : Binhuan Sun, [email protected]
• Changement de la base de données vectorielle DEV (Chroma) en instance de base de données vectorielle PROD (Azure Cosmos DB pour MongoDB (vCore)) et ajustement du choix des intégrations aux limitations de Cosmos DB, création d'index PROD DB, dockerisation, intégration de l'application rationalisée avec les modèles du framework Django, la maintenance du repo github : Pashkova Liubov, [email protected]

Configuration du serveur

Testé sur Linux Ubuntu 20.04 (peut nécessiter des ajustements pour d'autres systèmes).

Configuration matérielle minimale requise uniquement pour le déploiement de l'application AI Assistant et la création de la base de données Vector (à l'exclusion des applications PanKB DB, ETL et AI Assistant) :

• 8 Go de RAM
• 8 Go d'espace disque
• 4 cœurs de processeur (par exemple, pour le développement de PyCharm Remote IDE)

Configuration système requise :

• Docker et Docker Composer
• Git

Considérations et limites importantes

Le processus de remplissage de la base de données peut prendre entre 90 et 150 minutes. Cela dépend des configurations du serveur DEV et du cluster partitionné Cosmos DB. La taille de stockage MongoDB de la collection peuplée est d'environ 1,0 Gio, incl. les index.

Veuillez noter les limitations et considérations suivantes :

• Si nous utilisons une instance Azure Cosmos DB pour MongoDB comme base de données vectorielle, nous pouvons essayer uniquement les intégrations avec des dimensions <= 2000 car pour Azure Cosmos DB pour MongoDB, le nombre maximum de dimensions prises en charge est de 2000. Peut-être que c'est même pour le mieux, grand les intégrations sont plus chères et n'apportent pas toujours une augmentation significative des performances. Exemples : https://platform.openai.com/docs/guides/embeddings
• Nous devons créer l'indice de similarité. La dimensionnalité de cet index doit être la même que la dimensionnalité des plongements.
• Le niveau Azure M30 (Azure Cosmos DB pour MongoDB) prend en charge uniquement le type d'index vectoriel-ivf . Pour créer l'index vector-hnsw , nous devons passer au niveau M40 (cela coûte deux fois plus cher que M30 si nous ne sélectionnons pas l'option "Haute disponibilité" sur le portail Azure).
• Nous devons créer l'index HNSW avant l'insertion des données (même si cela augmente considérablement le temps total d'insertion des données). Si nous le faisons après, nous ne pouvons pas éviter les erreurs de type timeout. Les raisons peuvent être les options de configuration du cluster que nous ne pouvons pas modifier de notre côté si nous utilisons IaaS.
• L'explication la plus complète de l'algorithme d'indexation HNSW et de ses paramètres (tels que efConstruction et M) est donnée ici : https://www.pinecone.io/learn/series/faiss/hnsw/. Nos paramètres actuels ne sont peut-être pas optimaux, car ils ont été choisis conformément aux paramètres par défaut de ChromaDB, qui servait initialement de base de données de vecteur de développement.

Exécution de scripts

Créez le fichier .env au format suivant :

 ## Do not put this file under version control!

OPENAI_API_KEY=<insert the API key here without quotes>
COHERE_API_KEY=<insert the API key here without quotes>
TOGETHER_API_KEY=<insert the API key here without quotes>
GOOGLE_API_KEY=<insert the API key here without quotes>
ANTHROPIC_API_KEY=<insert the API key here without quotes>
REPLICATE_API_TOKEN=<insert the API key here without quotes>
VOYAGE_API_KEY=<insert the API key here without quotes>

## MongoDB-PROD (Azure Cosmos DB for MongoDB) Connection String
# Had to multiply maxIdleTimeMS by 10 to handle
# urllib3.exceptions.ProtocolError: 
# ("Connection broken: ConnectionResetError(104, 'Connection reset by peer')", ConnectionResetError(104, 'Connection reset by peer'))
MONGODB_CONN_STRING = "<insert the connection string here with quotes>"

Le script de remplissage de la base de données ne doit pas nécessairement être exécuté dans un conteneur Docker. Cela peut être fait avec les commandes suivantes :

 # install all the requirements and dependencies
pip3 install -r requirements.txt

# Run the script with two command line arguments: 
# the name of the folder containing the documents to feed to the LLM 
# and 
# the name of the MongoDB collection that will contain the vector DB
python3 make_vectordb.py ./Paper_all pankb_vector_store

La commande pour créer l'image Docker et recréer le conteneur Docker avec l'application Streamlit à l'intérieur :

 docker compose up -d --build --force-recreate

L'application streamlit dockerisée n'a pas besoin d'être exécutée dans tmux . Il sera toujours opérationnel même après le redémarrage de la VM (obtenu en utilisant l'option restart: always dans le fichier de composition du docker).

L'état du conteneur Docker peut être vérifié avec la commande suivante :

 docker ps

La commande devrait produire env. le résultat suivant, entre autres, en cas de déploiement réussi :

 CONTAINER ID   IMAGE                COMMAND                  CREATED          STATUS          PORTS                                           NAMES
54d89d7c4fad   pankb_llm:latest     "streamlit run strea…"   10 minutes ago   Up 10 minutes   0.0.0.0:8501->8501/tcp, :::8501->8501/tcp       pankb-llm