LLM API

Layanan API Obrolan

API memiliki tiga rute utama

• /
  • Rute beranda default digunakan untuk memulai sesi obrolan dan mengambil id sesi
• /obrolan/{session_id}
  • Rute obrolan inti digunakan untuk menanyakan model GPT-3.5-turbo dan menerima respons SSE
• /chat_history/{session_id}
  • Rute ini digunakan untuk mengambil dialog lengkap untuk sesi tertentu. Permintaan klien dan respons AI dikembalikan.

Layanan peluncuran

Untuk meluncurkan layanan

1. Buat file .env di direktori default proyek dan tambahkan OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key> Anda
2. Bangun image buruh pelabuhan menggunakan perintah berikut di direktori default. docker build -t chat_api_service .
3. Luncurkan wadah buruh pelabuhan menggunakan perintah berikut docker run -d -p 8000:8000 chat_api_service

penggunaan API

Ikuti alur ini untuk memanfaatkan API

1. Mulai sesi obrolan dan ambil id sesi curl http://127.0.0.1:8000?username=TR
2. Kirim perintah ke API curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. Dapatkan curl http://127.0.0.1:8000/chat_history/<session_id>

Alternatifnya, alat yang lebih baik untuk melakukan ping ke API adalah Tukang Pos; Ini adalah alat yang saya gunakan selama pengembangan.

Menjalankan tes

Luncurkan kontainer buruh pelabuhan dalam mode interaktif untuk menjalankan rangkaian pengujian. Server Redis dan server Uvicorn harus berjalan agar pengujian dapat dijalankan.

1. Luncurkan wadah dalam mode interaktif docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. Jalankan launch.sh sebagai proses latar belakang ./launch.sh &
3. Jalankan tes suite python -m pytest tests

Pekerjaan masa depan

Penyempurnaan API di masa depan meliputi

• Membangun front-end dengan Streamlit, lihat repo ini untuk referensi https://github.com/sftwre/Chatbot.
• Buat rute untuk mengambil semua sesi yang ada untuk nama pengguna tertentu.
• Buat perintah untuk memulai permainan trivia sitkom tahun 90an dengan klien. Informasi acara dapat diambil dari Fandom dan dimanfaatkan oleh LLM untuk membuat pertanyaan trivia melalui RAG.