LLM API

Serviço de API de bate-papo

A API tem três rotas principais

• /
  • Rota inicial padrão usada para iniciar uma sessão de bate-papo e recuperar o ID da sessão
• /chat/{session_id}
  • Rota de chat principal usada para consultar o modelo GPT-3.5-turbo e receber uma resposta SSE
• /chat_history/{session_id}
  • Esta rota é usada para recuperar o diálogo completo para uma determinada sessão. Os prompts do cliente e as respostas da IA ​​são retornados.

Lançamento do serviço

Para iniciar o serviço

1. Crie um arquivo .env no diretório padrão do projeto e adicione seu OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key>
2. Crie a imagem do Docker usando o seguinte comando no diretório padrão. docker build -t chat_api_service .
3. Inicie o contêiner docker usando o seguinte comando docker run -d -p 8000:8000 chat_api_service

Uso de API

Siga este fluxo para utilizar a API

1. Inicie a sessão de bate-papo e recupere o ID da sessão curl http://127.0.0.1:8000?username=TR
2. Envie prompts para API curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. Obtenha o histórico de bate-papo curl http://127.0.0.1:8000/chat_history/<session_id>

Alternativamente, uma ferramenta melhor para executar ping na API seria o Postman; Esta é a ferramenta que utilizei durante o desenvolvimento.

Executando testes

Inicie o contêiner docker no modo interativo para executar o conjunto de testes. O servidor Redis e os servidores Uvicorn devem estar em execução para que os testes sejam executados.

1. Inicie o contêiner no modo interativo docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. Execute launch.sh como um processo em segundo plano ./launch.sh &
3. Execute testes do conjunto python -m pytest tests

Trabalho futuro

Aprimoramentos futuros na API incluem

• Construindo um front-end com Streamlit, consulte este repositório para referência https://github.com/sftwre/Chatbot.
• Crie uma rota para recuperar todas as sessões existentes para um determinado nome de usuário.
• Crie prompts para iniciar um jogo de perguntas e respostas sobre sitcom dos anos 90 com o cliente. As informações sobre os programas podem ser extraídas do Fandom e utilizadas pelo LLM para criar perguntas triviais via RAG.