chat your data

Converse com seus dados

Chat your Data é um aplicativo desenvolvido usando Next.js, React e OpenAI. Este projeto permite que os usuários se comuniquem com um chatbot baseado em IA que fornece respostas relevantes às dúvidas dos usuários. O aplicativo usa tecnologia de processamento de linguagem natural (PNL) para entender as dúvidas dos usuários e fornecer respostas precisas.

Instalação

Antes de instalar o Chat your Data, certifique-se de que o Node.js esteja instalado em seu sistema. Após instalar o Node.js, siga as etapas abaixo para instalar o aplicativo:

1. Clone o repositório do projeto do GitHub.
2. Navegue até o diretório do projeto usando um terminal ou prompt de comando.
3. Execute yarn install para instalar as dependências do projeto.
4. Crie um arquivo .env no diretório raiz do projeto e configure as variáveis ​​de ambiente conforme necessário.

Primeiro, crie um novo arquivo .env a partir de .env.example e adicione sua chave de API OpenAI encontrada aqui.

cp .env.example .env

Problemas conhecidos

Precisa manter o LangChain versão 0.0.22. Qualquer coisa superior refatorou o código e quebrou. Trabalhando na refatoração para ChatModel

Ingestão de dados

A ingestão de dados acontece em duas etapas.

Primeiro, você deve baixar o livro/fonte e formatá-lo em algo legível e convertê-lo para o formato md . Adicione essa fonte à pasta do projeto e atualize FILENAME em ingest.ts para corresponder ao nome do arquivo.

Em seguida, instale as dependências e execute o script de ingestão:

yarn && yarn ingest

Isso irá analisar os dados, dividir o texto, criar embeddings, armazená-los em um vectorstore e, em seguida, salvá-los no diretório data/ .

Nós o salvamos em um diretório porque queremos executar o (caro) processo de ingestão de dados apenas uma vez.

O servidor Next.js depende da presença do diretório data/ . Certifique-se de executar isso antes de passar para a próxima etapa.

Uso

Para iniciar o aplicativo Chat your Data, execute o seguinte comando no terminal:

yarn dev

Depois que o aplicativo for iniciado, você poderá acessá-lo navegando até http://localhost:3000 em seu navegador.

Roteiros

Os seguintes scripts estão disponíveis no projeto:

• dev : inicia o servidor de desenvolvimento.
• build : construa o aplicativo pronto para produção.
• start : inicia o aplicativo pronto para produção.
• lint : Lint os arquivos do projeto usando ESLint.
• download : Baixe os dados necessários para o funcionamento do chatbot.
• ingest : ingere os dados baixados no chatbot.

Dependências

As seguintes dependências são necessárias para executar o aplicativo Hometown Chatbot:

• @emotion/react
• @emotion/styled
• @microsoft/fetch-event-source
• @mui/material
• dotenv
• hnswlib-node
• langchain
• next
• openai
• react
• react-dom
• react-markdown
• remark-gfm
• sharp
• ws

As seguintes devDependencies são necessárias para fins de desenvolvimento:

• @types/adm-zip
• @types/node
• @types/react
• @types/react-dom
• @types/ws
• cohere-ai
• ts-node
• tsx
• typescript

Contribuindo

Contribuições para conversar com seus dados são bem-vindas. Se você encontrar algum bug ou problema, levante-o no repositório GitHub do projeto. Você também pode contribuir com o projeto enviando solicitações pull.

Licença

Hometown Chatbot é um software de código aberto licenciado sob a licença MIT .

Implantando o servidor

Transferido para Vercel

Inspirações

Este repositório toma emprestado pesadamente de

• ChatLangChain - para lógica de back-end e ingestão de dados
• LangChain Chat NextJS - para o frontend.
• Chat Langchainjs - Backend e ingestão de dados

Como executar seu exemplo

Se quiser conversar com seus próprios dados, você precisa:

1. Configure seu próprio pipeline de ingestão e crie um diretório data/ semelhante com um vectorstore nele.
2. Altere o prompt usado em pages/api/util.ts - no momento, isso diz ao chatbot para responder apenas a perguntas sobre LangChain, portanto, para que ele funcione em seus dados, você precisará atualizá-lo adequadamente.

O servidor deve funcionar da mesma forma?