LLMOnAWS

Развертывание небольшой модели большого языка с открытым исходным кодом на AWS Lambda

Обзор

Модели больших языков (LLM) — это передовая технология, с которой я экспериментирую. Хотя управляемые сервисы, такие как OpenAI, предлагают экономичное использование LLM, существуют сценарии, когда становится необходимым локальное использование LLM. Это может быть связано с обработкой конфиденциальных данных или необходимостью получения высококачественных результатов на других языках, кроме английского. LLM с открытым исходным кодом соответствуют качеству таких крупных игроков, как OpenAI, но часто требуют значительных вычислительных ресурсов. Развертывание небольших моделей на таких платформах, как AWS Lambda, может стать экономически эффективной альтернативой.

Цель проекта

Моя цель в этом проекте — развернуть меньшую LLM с открытым исходным кодом, в частности Microsoft Phi-2, модель с 2,7 миллиардами параметров, которая конкурирует с результатами более крупных моделей с открытым исходным кодом. Я изучу LLM и лямбды на основе докеров, оценю производительность и оценю затраты на реальные приложения.

Шаги

1. Настройка среды (AWS, Docker и Python)

Убедитесь, что установлены необходимые инструменты, включая учетную запись AWS, интерфейс командной строки AWS, Docker и Python.

2. Настройте функцию Lambda локально с помощью Docker.

• Создайте базовый обработчик функции Python Lambda в файле lambda_function.py .
• Определите зависимости в requirements.txt , начиная с библиотеки AWS ( boto3 ).
• Создайте Dockerfile указав состав образа Docker.
• Настройте docker-compose.yml для запуска и сборки контейнера.
• Создайте и запустите контейнер локально с помощью docker-compose up .

3. Запустите LLM внутри контейнера

• Добавьте llama-cpp-python в requirements.txt .
• Представлен этап сборки Docker для установки llama-cpp и загрузки модели.
• Измените мой лямбда-код, чтобы выполнить вывод LLM.

4. Тестируйте локально

Пересоберите контейнер и протестируйте его с помощью реального приглашения с помощью curl .

5. Развертывание в AWS Lambda.

Выполните развертывание, используя предоставленный сценарий ( deploy.sh ). Это включает в себя создание или проверку репозитория ECR, роль IAM, аутентификацию Docker-ECR, создание образа Docker, загрузку образа ECR, получение роли IAM ARN, проверку функции Lambda, настройку и развертывание.

6. Тестируйте удаленно

Используйте URL-адрес функции Lambda, полученный во время развертывания, для тестирования с помощью приглашения.

Предварительные условия

Практические знания программирования, Docker, AWS и Python.

Примечания

• Все файлы должны храниться в одной директории проекта без подпапок.

Не стесняйтесь изучать, изменять и запускать предоставленные сценарии для развертывания и тестирования LLM с открытым исходным кодом на AWS Lambda.

Ссылки

1. Обнимающее лицо
2. АВС
3. Хоросин — развертывание языковой модели (LLM) на AWS Lambda
4. Средний уровень: развертывание Hugging Face LLM в Amazon SageMaker