chat with llms

Discutez avec les LLM

Chat With LLMs est une application Web qui permet aux utilisateurs de discuter avec divers grands modèles de langage (LLM) des principaux fournisseurs d'IA. Il permet aux utilisateurs de changer de modèle en cours de conversation sans perdre le contexte de discussion.

Aperçu

Ce projet intègre la génération de texte pilotée par API à l'aide de divers grands modèles linguistiques (LLM). Le cadre utilisé pour orchestrer ces interactions est LangChain, permettant une intégration transparente et une sélection dynamique de modèles entre différents fournisseurs.

Actuellement, la plateforme prend en charge six fournisseurs LLM distincts, chacun proposant une gamme de modèles de chat :

Ce sont

• OpenAI
• Anthropique
• Google
• Mistral
• Perplexité
• EnsembleIA

Pile technologique

• Back-end : framework Python FastAPI
• Framework LLM : Python LangChain
• Front-end : ReactJs
• Base de données : Base de données Google Firestore
• Hébergement : Google Cloud Run
• CI/CD : Actions Github

Architecture du système

Authentification : l'application Web utilise Google OAuth 2.0 pour l'authentification et la connexion sécurisées des utilisateurs.

Serveur backend : les messages utilisateur sont traités et les réponses des LLM sont générées à l'aide du framework FastAPI de Python. Le backend intègre également le framework LangChain, qui est responsable de la génération rapide et de la gestion des appels d'API vers différents fournisseurs LLM.

Streaming d'événements : les événements envoyés par le serveur (SSE) sont une norme de communication unidirectionnelle en temps réel entre un serveur et un client via HTTP. Avec SSE, le serveur peut transmettre les données générées jeton par jeton au client sans que celui-ci ait à les demander à plusieurs reprises.

Base de données Firestore : les informations utilisateur, les détails des discussions et l'historique des discussions sont stockés dans la base de données Firestore de Google. Firestore a été choisi pour son niveau gratuit, ses hautes performances et ses capacités de mise à l'échelle automatique, ce qui le rend idéal pour les applications dynamiques et en croissance.

ReactJS Frontend : Le frontend est construit avec ReactJS, fournissant une interface utilisateur interactive et réactive pour une interaction transparente avec l'application de chat.

Installation

Faites une copie du fichier .env.example et renommez-le en .env :

cp .env.example .env  # For Unix/Linux
copy .env.example .env  # For Windows

Ouvrez le fichier .env dans un éditeur de texte et saisissez les variables nécessaires avec leurs valeurs correspondantes. Ces variables sont généralement des clés API et d'autres configurations spécifiques à l'environnement.

Recommandé : utilisez Docker compose pour démarrer le chat avec-llms.

docker-compose up

Tous les services seront opérationnels sur les ports suivants :

Backend FastAPI : localhost:8080
ReactJS Frontend : localhost:3000

Sans Docker

1. Installez pipenv en utilisant pip :

pip install pipenv

2. Installez les packages requis à l'aide de pipenv et du Pipfile fourni :

pipenv install

3. Démarrez le serveur back-end

nodemon 
or 
uvicorn app:app --port 5000

4. Accédez au dossier Web et installez node_modules

 cd web
npm install

5. Démarrer le serveur frontal

 npm start

Points de terminaison

Accédez aux documents swagger en utilisant le lien ci-dessous

http://localhost:8080/docs