chat with llms

Chatea con LLM

Chat With LLMs es una aplicación web que permite a los usuarios chatear con varios modelos de lenguajes grandes (LLM) de los principales proveedores de inteligencia artificial. Permite a los usuarios cambiar de modelo en mitad de una conversación sin perder el contexto del chat.

Descripción general

Este proyecto integra la generación de texto basada en API utilizando varios modelos de lenguaje grande (LLM). El marco utilizado para orquestar estas interacciones es LangChain, que permite una integración perfecta y una selección dinámica de modelos entre diferentes proveedores.

Actualmente, la plataforma admite seis proveedores LLM distintos, cada uno de los cuales ofrece una variedad de modelos de chat:

esos son

• AbiertoAI
• antrópico
• Google
• Mistral
• Perplejidad
• JuntosAI

Pila de tecnología

• Backend: Marco Python FastAPI
• Marco LLM: Python LangChain
• Interfaz: ReactJs
• Base de datos: base de datos de Google Firestore
• Alojamiento: Google Cloud Run
• CI/CD: Acciones de Github

Arquitectura del sistema

Autenticación : la aplicación web utiliza Google OAuth 2.0 para la autenticación e inicio de sesión seguros del usuario.

Servidor backend : los mensajes de los usuarios se procesan y las respuestas de los LLM se generan utilizando el marco FastAPI de Python. El backend también integra el marco LangChain, que es responsable de la generación rápida y la gestión de llamadas API a diferentes proveedores de LLM.

Transmisión de eventos : los eventos enviados por el servidor (SSE) son un estándar para la comunicación unidireccional en tiempo real desde un servidor a un cliente a través de HTTP. Con SSE, el servidor puede enviar los datos generados token por token al cliente sin que el cliente tenga que solicitarlos repetidamente.

Base de datos de Firestore : la información del usuario, los detalles del chat y el historial del chat se almacenan en la base de datos de Firestore de Google. Se elige Firestore por su nivel gratuito, alto rendimiento y capacidades de escalamiento automático, lo que lo hace ideal para aplicaciones dinámicas y en crecimiento.

Frontend de ReactJS : el frontend está construido con ReactJS, lo que proporciona una interfaz de usuario interactiva y responsiva para una interacción perfecta con la aplicación de chat.

Instalación

Haga una copia del archivo .env.example y cámbiele el nombre a .env :

cp .env.example .env  # For Unix/Linux
copy .env.example .env  # For Windows

Abra el archivo .env en un editor de texto e ingrese las variables necesarias con sus valores correspondientes. Estas variables suelen ser claves API y otras configuraciones específicas del entorno.

Recomendado: use Docker Compose para iniciar chat-with-llms.

docker-compose up

Todos los servicios estarán funcionando en los siguientes puertos:

Backend FastAPI : localhost:8080
ReactJS Frontend : localhost:3000

Sin ventana acoplable

1. Instale pipenv usando pip:

pip install pipenv

2. Instale los paquetes necesarios usando pipenv y el Pipfile proporcionado:

pipenv install

3. Inicie el servidor backend

nodemon 
or 
uvicorn app:app --port 5000

4. Vaya a la carpeta web e instale node_modules

 cd web
npm install

5. Iniciar el servidor front-end

 npm start

Puntos finales

Acceda a los documentos de swagger utilizando el siguiente enlace

http://localhost:8080/docs