LLM API

聊天API服務

API有3個主要途徑

• /
  • 用於發起聊天會話並檢索會話 ID 的預設主路由
• /聊天/{session_id}
  • 用於查詢 GPT-3.5-turbo 模型並接收 SSE 回應的核心聊天路由
• /chat_history/{session_id}
  • 此路由用於檢索給定會話的完整對話。客戶端提示和 AI 回應都會回傳。

推出服務

啟動服務

1. 在專案的預設目錄中建立一個.env檔案並新增 OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key>
2. 在預設目錄中使用以下命令建立 docker 映像。 docker build -t chat_api_service .
3. 使用下列指令啟動 docker 容器docker run -d -p 8000:8000 chat_api_service

API使用

按照此流程使用 API

1. 啟動聊天會話並檢索會話 IDcurl curl http://127.0.0.1:8000?username=TR
2. 傳送提示curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. 取得聊天記錄curl http://127.0.0.1:8000/chat_history/<session_id>

另外，Postman 是更好的 ping API 工具；這是我在開發過程中使用的工具。

運行測試

以互動模式啟動 docker 容器來執行測試套件。 Redis 伺服器和 Uvicorn 伺服器必須執行才能執行測試。

1. 以互動模式啟動容器docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. 將launch.sh作為後台程序執行./launch.sh &
3. 運行測試套件python -m pytest tests

未來的工作

API 的未來增強包括

• 使用 Streamlit 建立前端，請參閱此儲存庫以供參考 https://github.com/sftwre/Chatbot。
• 建立一個路由來檢索給定使用者名稱的所有現有會話。
• 建立提示以與客戶啟動 90 年代情境喜劇問答遊戲。有關節目的資訊可以從 Fandom 中獲取，並由法學碩士用來透過 RAG 創建瑣事問題。