chat your data

Chatea tus datos

Chat your Data es una aplicación creada con Next.js, React y OpenAI. Este proyecto permite a los usuarios comunicarse con un chatbot basado en inteligencia artificial que proporciona respuestas relevantes a las consultas de los usuarios. La aplicación utiliza tecnología de procesamiento del lenguaje natural (NLP) para comprender las consultas de los usuarios y brindar respuestas precisas.

Instalación

Antes de instalar Chat your Data, asegúrese de que Node.js esté instalado en su sistema. Después de instalar Node.js, siga los pasos a continuación para instalar la aplicación:

1. Clona el repositorio del proyecto desde GitHub.
2. Navegue al directorio del proyecto usando una terminal o símbolo del sistema.
3. Ejecute yarn install para instalar las dependencias del proyecto.
4. Cree un archivo .env en el directorio raíz del proyecto y configure las variables de entorno según sea necesario.

Primero, cree un nuevo archivo .env a partir de .env.example y agregue su clave API de OpenAI que se encuentra aquí.

cp .env.example .env

Problemas conocidos

Es necesario mantener la versión 0.0.22 de LangChain. Cualquier cosa superior tiene código refactorizado y se rompe. Trabajando en la refactorización de ChatModel

Ingestión de datos

La ingesta de datos se produce en dos pasos.

Primero, debe descargar el libro/fuente, formatearlo en algo legible y convertirlo al formato md . Agregue esa fuente a la carpeta del proyecto y actualice FILENAME en ingest.ts para que coincida con el nombre del archivo.

A continuación, instale las dependencias y ejecute el script de ingesta:

yarn && yarn ingest

Esto analizará los datos, dividirá el texto, creará incrustaciones, los almacenará en un almacén de vectores y luego los guardará en el directorio data/ .

Lo guardamos en un directorio porque solo queremos ejecutar el (costoso) proceso de ingesta de datos una vez.

El servidor Next.js depende de la presencia del directorio data/ . Asegúrese de ejecutar esto antes de continuar con el siguiente paso.

Uso

Para iniciar la aplicación Chat your Data, ejecute el siguiente comando en la terminal:

yarn dev

Una vez iniciada la aplicación, puede acceder a ella navegando a http://localhost:3000 en su navegador web.

Guiones

Los siguientes scripts están disponibles en el proyecto:

• dev : inicia el servidor de desarrollo.
• build : construye la aplicación lista para producción.
• start : inicia la aplicación lista para producción.
• lint : Lint los archivos del proyecto usando ESLint.
• download : descarga los datos necesarios para que el chatbot funcione.
• ingest : ingiere los datos descargados en el chatbot.

Dependencias

Se requieren las siguientes dependencias para ejecutar la aplicación Hometown Chatbot:

• @emotion/react
• @emotion/styled
• @microsoft/fetch-event-source
• @mui/material
• dotenv
• hnswlib-node
• langchain
• next
• openai
• react
• react-dom
• react-markdown
• remark-gfm
• sharp
• ws

Se requieren las siguientes devDependencies para fines de desarrollo:

• @types/adm-zip
• @types/node
• @types/react
• @types/react-dom
• @types/ws
• cohere-ai
• ts-node
• tsx
• typescript

Contribuyendo

Las contribuciones a Chat your Data son bienvenidas. Si encuentra algún error o problema, infórmelo en el repositorio GitHub del proyecto. También puedes contribuir al proyecto enviando solicitudes de extracción.

Licencia

Hometown Chatbot es un software de código abierto con licencia MIT .

Implementando el servidor

Desplegado a Vercel

Inspiraciones

Este repositorio toma prestado en gran medida de

• ChatLangChain: para la lógica de ingesta de datos y backend
• LangChain Chat NextJS: para la interfaz.
• Chat Langchainjs: backend e ingestión de datos

Cómo ejecutar tu ejemplo

Si desea chatear con sus propios datos, debe:

1. Configure su propia canalización de ingesta y cree un directorio data/ similar con un almacén de vectores.
2. Cambie el mensaje utilizado en pages/api/util.ts : en este momento, esto le indica al chatbot que solo responda preguntas sobre LangChain, por lo que para que funcione con sus datos deberá actualizarlo en consecuencia.

¿El servidor debería funcionar igual?