nextjs fastapi your chat

Next.js + FastAPI: converse com seu site

Este aplicativo facilita um chatbot aproveitando Next.js como frontend e FastAPI como backend, utilizando o poder do LangChain para interações dinâmicas na web.

Recursos do aplicativo híbrido

• Interação na Web via LangChain : Utiliza a versão mais recente do LangChain para interação eficaz e extração de informações de sites.
• Integração versátil de modelo de linguagem : oferece compatibilidade com vários modelos, incluindo GPT-4. Os usuários podem alternar facilmente entre os modelos para atender às suas necessidades.
• Frontend Next.js amigável : a interface é intuitiva e acessível para usuários de todas as formações técnicas.

Mecânica Operacional

O aplicativo integra o servidor Python/FastAPI ao aplicativo Next.js na rota /api/ . Isso é conseguido por meio de reescritas next.config.js , direcionando quaisquer solicitações /api/:path* para o servidor FastAPI localizado na pasta /api . Localmente, FastAPI é executado em 127.0.0.1:8000 , enquanto em produção opera como funções sem servidor no Vercel.

Configurando o aplicativo

1. Instale dependências:

   npm install

2. Crie um arquivo .env com sua chave de API OpenAI:

    OPENAI_API_KEY=[your-openai-api-key]
   

3. Inicie o servidor de desenvolvimento:

   npm run dev

4. Acesse o aplicativo em http://localhost:3000. O servidor FastAPI é executado em http://127.0.0.1:8000.

Para testes somente de back-end:

conda create --name nextjs-fastapi-your-chat python=3.10
conda activate nextjs-fastapi-your-chat
pip install -r requirements.txt
uvicorn api.index:app --reload

Manutenção do histórico de bate-papo (lista TODO)

As opções para preservar o histórico de bate-papo incluem:

• Variável Global : Simples, mas não ideal para escalabilidade e consistência.
• Banco de dados/cache na memória : soluções escalonáveis ​​como Redis para armazenar histórico de bate-papo.
• Armazenamento de Banco de Dados : Método robusto e persistente, adequado para ambientes de produção.

Compreendendo os algoritmos RAG

RAG (Retrieval Augmented Generation) aprimora modelos de linguagem com contexto recuperado de uma base de conhecimento personalizada. O processo envolve buscar documentos HTML, dividi-los em pedaços e vetorizar esses pedaços usando modelos de incorporação como o OpenAI. Esses dados vetorizados formam um armazenamento de vetores, permitindo pesquisas semânticas baseadas nas consultas do usuário. Os pedaços relevantes recuperados são então usados ​​como contexto para o modelo de linguagem, formando uma resposta abrangente às perguntas do usuário.

Implementando Recuperação de Contexto

A função get_vectorstore_from_url extrai e processa texto de um determinado URL, enquanto get_context_retriever_chain forma uma cadeia que recupera o contexto relevante para todo o histórico da conversa. Essa abordagem de pipeline garante que as respostas sejam contextualmente conscientes e precisas.

Inspiração e Referências

• bate-papo com sites
• next13-ai-saas