LLM API

API-сервис чата

API имеет три основных маршрута

• /
  • Домашний маршрут по умолчанию, используемый для инициации сеанса чата и получения идентификатора сеанса.
• /чат/{ИД_сессии}
  • Основной маршрут чата, используемый для запроса модели GPT-3.5-turbo и получения ответа SSE.
• /chat_history/{session_id}
  • Этот маршрут используется для получения полного диалога для данного сеанса. Возвращаются как запросы клиента, так и ответы AI.

Запуск сервиса

Чтобы запустить сервис

1. Создайте файл .env в каталоге проекта по умолчанию и добавьте свой OPENAI_API_KEY vim .env , OPENAI_API_KEY=<key>
2. Создайте образ Docker, используя следующую команду в каталоге по умолчанию. docker build -t chat_api_service .
3. Запустите Docker-контейнер, используя следующую команду: docker run -d -p 8000:8000 chat_api_service

Использование API

Следуйте этому потоку, чтобы использовать API

1. Инициировать сеанс чата и получить идентификатор сеанса. curl http://127.0.0.1:8000?username=TR
2. Отправлять запросы в API curl -X PUT http://127.0.0.1:8000/chat/<session_id> -H "Content-Type: application/json" -d '{"payload": "Hello! What is your name?"}'
3. Получить историю чата curl http://127.0.0.1:8000/chat_history/<session_id>

Альтернативно, лучшим инструментом для проверки связи с API может быть Postman; Это инструмент, который я использовал во время разработки.

Запуск тестов

Запустите Docker-контейнер в интерактивном режиме, чтобы запустить набор тестов. Для выполнения тестов должны быть запущены серверы Redis и Uvicorn.

1. Запустить контейнер в интерактивном режиме. docker run -it --rm -p 8000:8000 --entrypoint bash chat_api_service
2. Запустите launch.sh в качестве фонового процесса ./launch.sh &
3. Запустить тесты набора python -m pytest tests

Будущая работа

Будущие улучшения API включают в себя

• Создание внешнего интерфейса с помощью Streamlit. Для справки см. этот репозиторий https://github.com/sftwre/Chatbot.
• Создайте маршрут для получения всех существующих сеансов для данного имени пользователя.
• Создайте подсказки, чтобы начать с клиентом викторину из ситкома 90-х. Информация о шоу может быть получена из Фэндома и использована LLM для создания викторинных вопросов через RAG.