LLM API

채팅 API 서비스

API에는 세 가지 주요 경로가 있습니다.

• /
  • 채팅 세션을 시작하고 세션 ID를 검색하는 데 사용되는 기본 홈 경로
• /chat/{session_id}
  • GPT-3.5 터보 모델을 쿼리하고 SSE 응답을 수신하는 데 사용되는 핵심 채팅 경로
• /chat_history/{session_id}
  • 이 경로는 특정 세션에 대한 전체 대화를 검색하는 데 사용됩니다. 클라이언트 프롬프트와 AI 응답이 모두 반환됩니다.

서비스 런칭

서비스를 시작하려면

1. 프로젝트의 기본 디렉터리에 .env 파일을 만들고 OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key> 추가하세요.
2. 기본 디렉터리에서 다음 명령을 사용하여 Docker 이미지를 빌드합니다. docker build -t chat_api_service .
3. 다음 명령 docker run -d -p 8000:8000 chat_api_service 사용하여 docker 컨테이너를 시작합니다.

API 사용

API를 활용하려면 이 흐름을 따르세요.

1. 채팅 세션을 시작하고 세션 ID curl http://127.0.0.1:8000?username=TR 검색합니다.
2. API에 프롬프트 보내기 curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. 채팅 기록 curl http://127.0.0.1:8000/chat_history/<session_id>

또는 API를 ping하는 더 나은 도구는 Postman입니다. 제가 개발하면서 활용했던 도구입니다.

테스트 실행

테스트 도구 모음을 실행하려면 대화형 모드에서 Docker 컨테이너를 시작하세요. 테스트를 실행하려면 Redis 서버와 Uvicorn 서버가 실행되고 있어야 합니다.

1. 대화형 모드에서 컨테이너 실행 docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. launch.sh 백그라운드 프로세스로 실행합니다 ./launch.sh &
3. 테스트 스위트 python -m pytest tests 실행

미래의 일

API의 향후 개선 사항은 다음과 같습니다.

• Streamlit을 사용하여 프런트 엔드를 구축하려면 https://github.com/sftwre/Chatbot을 참조하려면 이 저장소를 참조하세요.
• 특정 사용자 이름에 대한 모든 기존 세션을 검색하는 경로를 만듭니다.
• 클라이언트와 함께 90년대 시트콤 퀴즈 게임을 시작하라는 메시지를 만듭니다. 쇼에 대한 정보는 Fandom에서 가져와 LLM에서 활용하여 RAG를 통해 퀴즈 질문을 만들 수 있습니다.