LLM API

聊天API服务

API有3个主要途径

• /
  • 用于发起聊天会话并检索会话 ID 的默认主路由
• /聊天/{session_id}
  • 用于查询 GPT-3.5-turbo 模型并接收 SSE 响应的核心聊天路由
• /chat_history/{session_id}
  • 该路由用于检索给定会话的完整对话。客户端提示和 AI 响应都会返回。

推出服务

启动服务

1. 在项目的默认目录中创建一个.env文件并添加 OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key>
2. 在默认目录中使用以下命令构建 docker 映像。 docker build -t chat_api_service .
3. 使用以下命令启动 docker 容器docker run -d -p 8000:8000 chat_api_service

API使用

按照此流程使用 API

1. 启动聊天会话并检索会话 IDcurl curl http://127.0.0.1:8000?username=TR
2. 向 API 发送提示curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. 获取聊天记录curl http://127.0.0.1:8000/chat_history/<session_id>

另外，Postman 是一个更好的 ping API 工具；这是我在开发过程中使用的工具。

运行测试

以交互模式启动 docker 容器来运行测试套件。 Redis 服务器和 Uvicorn 服务器必须运行才能执行测试。

1. 以交互模式启动容器docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. 将launch.sh作为后台进程执行./launch.sh &
3. 运行测试套件python -m pytest tests

未来的工作

API 的未来增强包括

• 使用 Streamlit 构建前端，请参阅此存储库以供参考 https://github.com/sftwre/Chatbot。
• 创建一个路由来检索给定用户名的所有现有会话。
• 创建提示以与客户启动 90 年代情景喜剧问答游戏。有关节目的信息可以从 Fandom 中获取，并由法学硕士用来通过 RAG 创建琐事问题。