LLMOnAWS

在 AWS Lambda 上部署較小的開源大型語言模型

概述

大型語言模型 (LLM) 是我正在試驗的尖端技術。雖然 OpenAI 等託管服務提供了經濟高效的 LLM 使用，但在某些情況下，需要在本地運行 LLM。這可能是由於處理敏感資料或需要以英語以外的語言提供高品質的輸出。開源法學碩士可與 OpenAI 等主要參與者的品質相媲美，但通常需要大量計算資源。在 AWS Lambda 等平台上部署較小的模型可以提供經濟高效的替代方案。

專案目標

我這個專案的目標是部署一個較小的開源 LLM，特別是 Microsoft Phi-2，這是一個 27 億參數模型，可與大型開源模型的輸出相媲美。我將探索 LLM 和基於 docker 的 lambda，評估效能並評估實際應用程式的成本。

步驟

1. 環境搭建（AWS、Docker、Python）

確保安裝了必要的工具，包括 AWS 帳戶、AWS CLI、Docker 和 Python。

2. 使用 Docker 在本機設定 Lambda 函數

• 在lambda_function.py檔案中建立基本的 Python Lambda 函數處理程序。
• 在requirements.txt中定義依賴項，從AWS 函式庫( boto3 ) 開始。
• 建立指定 Docker 映像組成的Dockerfile 。
• 設定docker-compose.yml以運行和建置容器。
• 使用docker-compose up在本機建置並啟動容器。

3. 在容器內運行 LLM

• 將llama-cpp-python加入到requirements.txt 。
• 引入用於 llama-cpp 安裝和模型下載的 Docker 建置階段。
• 修改我的 Lambda 程式碼以執行 LLM 推理。

4. 本地測試

重建容器並使用curl在真實提示下進行測試。

5. 部署到AWS Lambda

使用提供的腳本 ( deploy.sh ) 執行部署。包括建立或檢查ECR儲存庫、IAM角色、Docker-ECR身份驗證、Docker映像建置、ECR映像上傳、IAM角色ARN取得、Lambda函數驗證、配置和部署。

6. 遠端測試

使用部署期間取得的 Lambda 函數 URL 透過提示進行測試。

先決條件

具備程式設計、Docker、AWS 和 Python 的工作知識。

筆記

• 所有檔案應儲存在沒有子資料夾的單一專案目錄中。

您可以隨意探索、修改和執行提供的腳本，以在 AWS Lambda 上部署和測試開源 LLM。

參考

1. 抱臉
2. AWS
3. Horosin - 在 AWS Lambda 上部署語言模型 (LLM)
4. 中 - 在 Amazon SageMaker 中部署 Hugging Face LLM