LLM API

Chat-API-Dienst

Die API verfügt über drei Hauptrouten

• /
  • Standard-Home-Route, die zum Initiieren einer Chat-Sitzung und zum Abrufen der Sitzungs-ID verwendet wird
• /chat/{session_id}
  • Kern-Chat-Route, die zum Abfragen des GPT-3.5-Turbo-Modells und zum Empfangen einer SSE-Antwort verwendet wird
• /chat_history/{session_id}
  • Diese Route wird verwendet, um den vollständigen Dialog für eine bestimmte Sitzung abzurufen. Es werden sowohl Client-Eingabeaufforderungen als auch KI-Antworten zurückgegeben.

Startdienst

Um den Dienst zu starten

1. Erstellen Sie eine .env Datei im Standardverzeichnis des Projekts und fügen Sie Ihren OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key> hinzu
2. Erstellen Sie das Docker-Image mit dem folgenden Befehl im Standardverzeichnis. docker build -t chat_api_service .
3. Starten Sie den Docker-Container mit dem folgenden Befehl docker run -d -p 8000:8000 chat_api_service

API-Nutzung

Befolgen Sie diesen Ablauf, um die API zu nutzen

1. Chat-Sitzung initiieren und Sitzungs-ID curl http://127.0.0.1:8000?username=TR abrufen
2. Senden Sie Eingabeaufforderungen an die API. curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. Rufen Sie den Chatverlauf curl http://127.0.0.1:8000/chat_history/<session_id> ab

Alternativ wäre Postman ein besseres Tool zum Pingen der API. Dies ist das Tool, das ich während der Entwicklung verwendet habe.

Laufende Tests

Starten Sie den Docker-Container im interaktiven Modus, um die Testsuite auszuführen. Damit die Tests ausgeführt werden können, müssen der Redis-Server und die Uvicorn-Server ausgeführt werden.

1. Container im interaktiven Modus starten, docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. Führen Sie launch.sh als Hintergrundprozess aus ./launch.sh &
3. Führen Sie Testsuite- python -m pytest tests aus

Zukünftige Arbeit

Zukünftige Verbesserungen der API umfassen:

• Erstellen Sie ein Frontend mit Streamlit. Weitere Informationen finden Sie in diesem Repo unter https://github.com/sftwre/Chatbot.
• Erstellen Sie eine Route, um alle vorhandenen Sitzungen für einen bestimmten Benutzernamen abzurufen.
• Erstellen Sie Aufforderungen, um mit dem Kunden ein 90er-Jahre-Sitcom-Quizspiel zu starten. Informationen zu Shows können von Fandom abgerufen und vom LLM genutzt werden, um über RAG Quizfragen zu erstellen.