LLM API

บริการแชท API

API มีสามเส้นทางหลัก

• -
  • เส้นทางบ้านเริ่มต้นที่ใช้เพื่อเริ่มต้นเซสชันการแชทและรับรหัสเซสชัน
• /แชท/{session_id}
  • เส้นทางแชทหลักที่ใช้เพื่อค้นหาโมเดล GPT-3.5-turbo และรับการตอบกลับ SSE
• /chat_history/{session_id}
  • เส้นทางนี้ใช้เพื่อดึงบทสนทนาที่สมบูรณ์สำหรับเซสชันที่กำหนด ทั้งข้อความแจ้งของไคลเอ็นต์และการตอบกลับของ AI จะถูกส่งกลับ

เปิดตัวบริการ

เพื่อเปิดให้บริการ

1. สร้างไฟล์ .env ในไดเร็กทอรีเริ่มต้นของโปรเจ็กต์และเพิ่ม OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key>
2. สร้างอิมเมจนักเทียบท่าโดยใช้คำสั่งต่อไปนี้ในไดเร็กทอรีเริ่มต้น docker build -t chat_api_service .
3. เรียกใช้คอนเทนเนอร์นักเทียบท่าโดยใช้คำสั่งต่อไปนี้ docker run -d -p 8000:8000 chat_api_service

การใช้งาน API

ทำตามขั้นตอนนี้เพื่อใช้ API

1. เริ่มต้นเซสชันการแชทและรับรหัสเซสชัน curl http://127.0.0.1:8000?username=TR
2. ส่งข้อความแจ้งให้ API curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. รับประวัติการแชท curl http://127.0.0.1:8000/chat_history/<session_id>

อีกทางหนึ่ง เครื่องมือที่ดีกว่าในการ ping API ก็คือบุรุษไปรษณีย์ นี่คือเครื่องมือที่ฉันใช้ระหว่างการพัฒนา

กำลังดำเนินการทดสอบ

เปิดใช้คอนเทนเนอร์นักเทียบท่าในโหมดโต้ตอบเพื่อเรียกใช้ชุดทดสอบ เซิร์ฟเวอร์ Redis และเซิร์ฟเวอร์ Uvicorn ต้องทำงานเพื่อให้การทดสอบดำเนินการ

1. เปิดตัวคอนเทนเนอร์ในโหมดโต้ตอบ docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. ดำเนินการ launch.sh เป็นกระบวนการพื้นหลัง ./launch.sh &
3. รันชุดทดสอบ python -m pytest tests

งานในอนาคต

การปรับปรุง API ในอนาคตประกอบด้วย

• การสร้างส่วนหน้าด้วย Streamlit ดู repo นี้สำหรับการอ้างอิง https://github.com/sftwre/Chatbot
• สร้างเส้นทางเพื่อรับเซสชันที่มีอยู่ทั้งหมดสำหรับชื่อผู้ใช้ที่กำหนด
• สร้างข้อความแจ้งให้เริ่มเกมเรื่องไม่สำคัญซิทคอมยุค 90 กับไคลเอนต์ ข้อมูลเกี่ยวกับรายการสามารถดึงมาจาก Fandom และใช้โดย LLM เพื่อสร้างคำถามไม่สำคัญผ่านทาง RAG