doc genius ai

DocGenius AI - Chatbot IA génératif pour vos documents

Architecture

Chatbot avec implémentation RAG

Inférence IA Cloudera

Déploiement

Cloudera AMP

Applications

Construire votre base de connaissances personnalisée

• Utiliser la base de données vectorielle
• Utiliser le Ni-Fi
• Utilisez Python et plus encore.

Comprendre les entrées et sorties utilisateur

Entrées

Sélectionner le modèle - Ici, l'utilisateur peut sélectionner le modèle de discussion de paramètre Llama3 70B ( llama-3-70b )

Sélectionnez la température (caractère aléatoire de la réponse) - Ici, l'utilisateur peut mettre à l'échelle le caractère aléatoire de la réponse du modèle. Des nombres inférieurs garantissent une réponse plus approximative et objective tandis que des nombres plus élevés encouragent la créativité du modèle.

Sélectionnez le nombre de jetons (durée de réponse) - Ici, plusieurs options ont été proposées. Le nombre de jetons utilisés par l'utilisateur est directement corrélé à la longueur de la réponse renvoyée par le modèle.

Question : Comme cela semble l'être ; c'est ici que l'utilisateur peut poser une question au modèle

Sorties

Réponse - Il s'agit de la réponse générée par le modèle compte tenu du contexte dans votre base de données vectorielles. Notez que si la question ne peut pas correspondre au contenu de votre base de connaissances, vous risquez d'obtenir des réponses hallucinées.

Déploiement

FastAPI pour les LLM

le répertoire app héberge la FastAPI pour vos LLM

Interface utilisateur du chatbot (front-end)

Le répertoire chat-ui héberge le code de l'interface utilisateur de Chatbot.

Variables

Regardez les variables lors du déploiement de l'AMP. Reportez-vous à la documentation d'inférence Cloduera AI pour obtenir le point de terminaison et la clé d'inférence.

Exigences

Types d'instances CML

• Une instance GPU est requise pour effectuer une inférence sur le LLM
  • Documentation CML : GPU
• Un type d'instance GPU compatible CUDA 5.0+ est recommandé (cela échouera à l'étape 2 si cette exigence n'est pas remplie)
  • Les bibliothèques Torch nécessitent un GPU avec une capacité de calcul CUDA 5.0 ou supérieure. (c'est-à-dire les GPU NVIDIA V100, A100, T4)

Durée d'exécution recommandée

JupyterLab - Python 3.11 - GPU Nvidia

Documents AMP

https://docs.cloudera.com/machine-learning/cloud/applied-ml-prototypes/topics/ml-amp-project-spec.html

Besoins en ressources

Cela crée les charges de travail suivantes avec des besoins en ressources :

• Session CML : 2 CPU, 16GB MEM
• Tâches CML : 2 CPU, 8GB MEM
• Application CML : 2 CPU, 1 GPU, 16GB MEM

Base de connaissances par défaut

• Lorsque cet AMP est déployé, il déploiera un exemple de travail pour créer une base de connaissances avec Milvus local à partir de l'ensemble de données de vente au détail.

Structure du code

 doc-genius-ai/
├── app/                      	# Application directory for API and Model Serving
│   └── [..subdirs..]
│   └── chatbot/		# has the model serving python files for RAG, Prompt, Fine-tuning models
│   └── main.py		# main.py file to start the API
├── chat-ui/                  	# Directory for the chatbot UI in Next.js
│   └── [..subdirs..]
│   └── app.py 		# app.py file to serve  build files in .next directory via Flask
├── pipeline/                 	# Pipeline directory for data processing or workflow pipelines and vector load
├── data/                     	# Data directory for storing datasets or data files or RAG KB
├── models/                   	# Models directory for LLMs / ML models
├── session/                  	# Scripts for CML Sessions and Validation Tasks
├── images/                   	# Directory for storing project related images
├── api.md                    	# Documentation for the APIs
├── README.md         	# Detailed description of the project
├── .gitignore                	# Specifies intentionally untracked files to ignore
├── catalog.yaml          	# YAML file that contains descriptive information and metadata for the displaying the AMP projects in the CML Project Catalog.           
├─ .project-metadata.yaml    # Project metadata file that provides configuration and setup details
├── cdsw-build.sh             	# Script for building the Model dependencies
└── requirements.txt          	# Python dependencies for Model Serving

Correctifs provisoires

1. Augmentez la limite de stockage éphémère en accédant à Espace de travail CML -> Administration du site -> Paramètres -> Stockage éphémère (en Go) et définissez-la sur une valeur >= 50

• Lorsqu'un modèle CML est créé, le modèle est chargé dans l'espace de travail d'un pod, les modèles LLM sont plus grands que les 10 Go par défaut, ce qui entraîne des problèmes lors du déploiement.

2. Administration du site > Sécurité > Autoriser la configuration des applications avec un accès non authentifié. (Cochez la case)

AVIS IMPORTANT

IMPORTANT : Veuillez lire ce qui suit avant de continuer. Cet AMP inclut ou dépend de certains progiciels tiers. Les informations sur ces progiciels tiers sont mises à disposition dans le fichier de notification associé à cette AMP. En configurant et en lançant cet AMP, vous provoquerez le téléchargement et l'installation de ces progiciels tiers dans votre environnement, dans certains cas, à partir de sites Web tiers. Pour chaque progiciel tiers, veuillez consulter le fichier de notification et les sites Web applicables pour plus d'informations, y compris les conditions de licence applicables.

Si vous ne souhaitez pas télécharger et installer des progiciels tiers, ne configurez pas, ne lancez pas et n'utilisez pas cet AMP. En configurant, en lançant ou en utilisant l'AMP, vous reconnaissez la déclaration précédente et acceptez que Cloudera n'est en aucun cas responsable des progiciels tiers.

Copyright (c) 2024 - Cloudera, Inc. Tous droits réservés.