LLMOnAWS

在 AWS Lambda 上部署较小的开源大型语言模型

概述

大型语言模型 (LLM) 是我正在试验的尖端技术。虽然 OpenAI 等托管服务提供了经济高效的 LLM 使用，但在某些情况下，需要在本地运行 LLM。这可能是由于处理敏感数据或需要以英语以外的语言提供高质量的输出。开源法学硕士可与 OpenAI 等主要参与者的质量相媲美，但通常需要大量计算资源。在 AWS Lambda 等平台上部署较小的模型可以提供经济高效的替代方案。

项目目标

我这个项目的目标是部署一个较小的开源 LLM，特别是 Microsoft Phi-2，这是一个 27 亿参数模型，可与大型开源模型的输出相媲美。我将探索 LLM 和基于 docker 的 lambda，评估性能并评估实际应用程序的成本。

步骤

1. 环境搭建（AWS、Docker、Python）

确保安装了必要的工具，包括 AWS 账户、AWS CLI、Docker 和 Python。

2. 使用 Docker 在本地设置 Lambda 函数

• 在lambda_function.py文件中创建基本的 Python Lambda 函数处理程序。
• 在requirements.txt中定义依赖项，从AWS 库( boto3 ) 开始。
• 创建指定 Docker 映像组成的Dockerfile 。
• 设置docker-compose.yml以运行和构建容器。
• 使用docker-compose up在本地构建并启动容器。

3. 在容器内运行 LLM

• 将llama-cpp-python添加到requirements.txt 。
• 引入用于 llama-cpp 安装和模型下载的 Docker 构建阶段。
• 修改我的 Lambda 代码以运行 LLM 推理。

4. 本地测试

重建容器并使用curl在真实提示下进行测试。

5. 部署到AWS Lambda

使用提供的脚本 ( deploy.sh ) 执行部署。包括创建或检查ECR存储库、IAM角色、Docker-ECR身份验证、Docker镜像构建、ECR镜像上传、IAM角色ARN获取、Lambda函数验证、配置和部署。

6. 远程测试

使用部署期间获取的 Lambda 函数 URL 通过提示进行测试。

先决条件

具备编程、Docker、AWS 和 Python 的工作知识。

笔记

• 所有文件应存储在没有子文件夹的单个项目目录中。

您可以随意探索、修改和运行提供的脚本，以在 AWS Lambda 上部署和测试开源 LLM。

参考

1. 抱脸
2. AWS
3. Horosin - 在 AWS Lambda 上部署语言模型 (LLM)
4. 中 - 在 Amazon SageMaker 中部署 Hugging Face LLM