Updated Langchain for GenAI Pet project v2

Création d'un chatbot à l'aide de LLM payants et open source à l'aide de Langchain et Ollama

Ce projet de bout en bout qui simplifie le cycle de vie des applications Large Language Model (LLM), y compris le développement, la production et le déploiement. Le référentiel contient des dossiers et des fichiers en tant que composants du projet, tels que des agents, des API, des chaînes, des chatbots, GROQ (un langage de requête), des modèles Hugging Face, ObjectBox (une base de données intégrée), des modèles OpenAI et la génération augmentée de récupération (RAG). ). ) modèles. Le projet vise à fournir une solution complète pour travailler avec les LLM, couvrant la gestion des données, le développement de chatbot et l'intégration avec divers outils et frameworks.

Projet Langchain

---

Créer un chatbot à l'aide de LLM payants et open source avec Langchain et Ollama

Aperçu du projet

Ce projet démontre la création d'un chatbot utilisant des modèles de langage à grande échelle (LLM) payants et open source via Langchain et Ollama. Il couvre l'ensemble du cycle de vie des applications LLM, y compris le développement, la production et le déploiement.

Sécurité des informations :

Ouais. Toutes les API sont secrètes, avec un accès utilisateur restreint et un .gitignore anonymisé et une autre couche de sécurité via les environnements secrets Github (Désolé ! Vous devrez utiliser le vôtre !)

Composantes minimales du projet

• Agents
• API / FastAPI
• Chaînes
• Chatbots
• GROQ (langage de requête)
• Visage câlin22 Modèles
• ObjectBox (base de données intégrée)
• Modèles OpenAI
• Modèles Meta Llama2 (open source)
• Modèles de génération augmentée de récupération (RAG)

Configuration et installation

1. Configuration de l'environnement

conda create -p venv python==3.10 -y
venv S cripts a ctivate
pip install -r requirements.txt

2.Configuration

Configurez les clés et paramètres API nécessaires dans le fichier app.py

Utiliser

1. Exécution du chatbot

python app.py

2. Accès à l'interface Web

Ouvrez un navigateur Web et accédez à (ou au port progressif attribué sur votre ordinateur). le mien c'est ça :

http://localhost:8502

---

Configurons app.py et exécutons la session sur l'hôte local

• Nous créons le fichier en appelant les 3 principales fonctions chaînées de notre chatbot de base.

• Nous chargeons les exigences pour les modules et les bibliothèques :

• Nous exécutons notre app.py

  Nous finissons de configurer app.py et exécutons
  

• Il renvoie la route et ouvre l'hôte dans le navigateur de test

  Local URL: http://localhost:8502
  Network URL: http://192.168.100.30:8502

• Vérifions la page :

• Passons en revue le projet dans le framework Langchain :

• Examinons la structure de la sortie telle que nous la définissons :

  

• Nous examinons le StrOutputParser en détail :

  

• Nous vous poserons des questions sur « fournir du code Python qui échange deux valeurs » pour évaluer le coût, la tokenisation et le délai afin de résoudre la question :

• *proveeme de un código python que swapee 2 valores.* :

  

   # Definir los dos valores a intercambiar
  a = 5
  b = 10
  
  print ( "Valores originales:" )
  print ( "a =" , a )
  print ( "b =" , b )
  
  # Intercambiar los valores
  temp = a
  a = b
  b = temp
  
  print ( " n Valores intercambiados:" )
  print ( "a =" , a )
  print ( "b =" , b )

• Enfin nous générons une requête commune :

  "question": "Quand commencer à brosser les dents des chiots ?"

  

Configurons une version Locale avec Ollama

• Nous allons charger Llamama spécifiquement en téléchargeant Llama2 sur notre ordinateur pour l'exécuter depuis mon environnement local

  • J'ouvre un cmd

    ollama run llama2

  • nous téléchargeons llama2

  

  

  • Nous consulterons les mêmes 2 dernières questions pour évaluer le niveau de réponse, de cohérence et d'homogénéité avec Llama2 par rapport à celui généré avec gpt3.5 turbo
  • Nous regardons les réponses dans le navigateur de test :

  

  • Passons en revue Langsmith sur Langchain pour examiner le traçage des requêtes, la latence, la tokenisation et l'ensemble du processus.

  

  • "fournissez-moi un code python pour échanger 2 numéros"

  

  • Comment nous voyons le temps de processus et la génération de la réponse
  • C'était beaucoup plus élevé et la tokenisation a rapidement grimpé à 388 jetons.
  • La taille et la longueur de la réponse sont générées par la question, mais bien plus encore. Et le niveau d'information et d'exhaustivité l'est également, ce qui signifie que j'essaie de répondre au modèle OpenAI avec brièveté et précision, sans entrer dans les détails sémantiques pendant que le modèle fonctionne.
  • Lama 2 était beaucoup plus verbal ou verbeux et avec un impact associé au temps de processus local qui dépend de l'ordinateur sur lequel le modèle est exécuté et de l'intelligence derrière la réponse générée par le modèle lui-même.

---

Caractéristiques générales du projet

• Intégration avec les modèles OpenAI GPT
• Prise en charge locale du LLM avec Ollama (Llama2)
• Interface Web pour une interaction facile
• Comparaison des performances entre les LLM basés sur le cloud et sur site

Comparaison des performances

Le projet comprend une comparaison entre le GPT-3.5-turbo d'OpenAI et le modèle Llama2 exécuté localement :

• Temps de réponse (latence)
• Utilisation des jetons
• Qualité et cohérence des réponses

Surveillance et analyse

Nous utilisons Langsmith sur Langchain pour surveiller :

• Disposition de la requête
• Latence
• Utilisation des jetons
• Flux de processus général

Cotisations

Les contributions pour améliorer le chatbot ou étendre ses capacités sont toujours les bienvenues. Veuillez soumettre des demandes d'extraction ou des problèmes ouverts pour toute amélioration.

#### Voulez-vous apprendre ? envoie-moi un DM !

Licence

Ce projet est open source et disponible sous la licence MIT.