nextjs fastapi your chat

Next.js + FastAPI: chatee con su sitio web

Esta aplicación facilita un chatbot aprovechando Next.js como interfaz y FastAPI como backend, utilizando el poder de LangChain para interacciones web dinámicas.

Características de la aplicación híbrida

• Interacción web a través de LangChain : utiliza la última versión de LangChain para una interacción efectiva y extracción de información de sitios web.
• Integración de modelos de lenguaje versátil : ofrece compatibilidad con varios modelos, incluido GPT-4. Los usuarios pueden cambiar fácilmente entre modelos para satisfacer sus necesidades.
• Frontend Next.js fácil de usar : la interfaz es intuitiva y accesible para usuarios de todos los conocimientos técnicos.

Mecánica operativa

La aplicación integra el servidor Python/FastAPI en la aplicación Next.js bajo la ruta /api/ . Esto se logra mediante reescrituras next.config.js , dirigiendo cualquier solicitud /api/:path* al servidor FastAPI ubicado en la carpeta /api . Localmente, FastAPI se ejecuta en 127.0.0.1:8000 , mientras que en producción funciona como funciones sin servidor en Vercel.

Configurando la aplicación

1. Instalar dependencias:

   npm install

2. Cree un archivo .env con su clave API de OpenAI:

    OPENAI_API_KEY=[your-openai-api-key]
   

3. Inicie el servidor de desarrollo:

   npm run dev

4. Acceda a la aplicación en http://localhost:3000. El servidor FastAPI se ejecuta en http://127.0.0.1:8000.

Para pruebas solo de backend:

conda create --name nextjs-fastapi-your-chat python=3.10
conda activate nextjs-fastapi-your-chat
pip install -r requirements.txt
uvicorn api.index:app --reload

Mantenimiento del historial de chat (lista de tareas pendientes)

Las opciones para preservar el historial de chat incluyen:

• Variable global : simple pero no ideal para escalabilidad y coherencia.
• Base de datos/caché en memoria : soluciones escalables como Redis para almacenar el historial de chat.
• Almacenamiento de Bases de Datos : Método robusto y persistente, adecuado para entornos de producción.

Comprender los algoritmos RAG

RAG (Retrieval Augmented Generation) mejora los modelos de lenguaje con contexto recuperado de una base de conocimiento personalizada. El proceso implica recuperar documentos HTML, dividirlos en fragmentos y vectorizarlos utilizando modelos de incrustación como el de OpenAI. Estos datos vectorizados forman un almacén de vectores, lo que permite búsquedas semánticas basadas en consultas de los usuarios. Los fragmentos relevantes recuperados se utilizan luego como contexto para el modelo de lenguaje, formando una respuesta integral a las consultas de los usuarios.

Implementación de la recuperación de contexto

La función get_vectorstore_from_url extrae y procesa texto de una URL determinada, mientras que get_context_retriever_chain forma una cadena que recupera el contexto relevante para todo el historial de conversaciones. Este enfoque de canalización garantiza que las respuestas sean precisas y conscientes del contexto.

Inspiración y referencias

• chatear con sitios web
• siguiente13-ai-saas