LLMOnAWSダウンロード - LLMOnAWSソースコードのダウンロード

LLMOnAWS

その他のソースコード

1.0.0

ダウンロード

小規模なオープンソースの大規模言語モデルを AWS Lambda にデプロイする

概要

Large Language Model (LLM) は、私が実験している最先端のテクノロジーです。 OpenAI のようなマネージドサービスは、費用対効果の高い LLM の使用を提供しますが、LLM をローカルで実行することが必要になるシナリオもあります。これは、機密データを扱っているか、英語以外の言語で高品質の出力が必要であることが原因である可能性があります。オープンソース LLM は、OpenAI などの大手プレーヤーの品質に匹敵しますが、多くの場合、大量のコンピューティングリソースを必要とします。 AWS Lambda などのプラットフォームに小規模なモデルをデプロイすると、コスト効率の高い代替手段を提供できます。

プロジェクトの目標

このプロジェクトの私の目標は、より小規模なオープンソース LLM、具体的には、大規模なオープンソースモデルの出力に匹敵する 27 億のパラメーターモデルである Microsoft Phi-2 をデプロイすることです。 LLM と Docker ベースのラムダを調査し、パフォーマンスを評価し、実際のアプリケーションのコストを評価します。

ステップ

1. 環境設定（AWS、Docker、Python）

AWS アカウント、AWS CLI、Docker、Python などの必要なツールがインストールされていることを確認します。

2. Docker を使用して Lambda 関数をローカルにセットアップする

基本的な Python Lambda 関数ハンドラーをlambda_function.pyファイルに作成します。
AWS ライブラリ ( boto3 ) から始めて、 requirements.txtで依存関係を定義します。
Docker イメージの構成を指定してDockerfile作成します。
コンテナーを実行および構築するためにdocker-compose.ymlセットアップします。
docker-compose up使用してローカルでコンテナーを構築し、起動します。

3. コンテナ内で LLM を実行する

llama-cpp-pythonをrequirements.txtに追加します。
llama-cpp のインストールとモデルのダウンロードのための Docker ビルドステージを導入します。
LLM 推論を実行するように Lambda コードを変更します。

4. ローカルでテストする

コンテナを再構築し、 curl使用して実際のプロンプトでテストします。

5. AWS Lambda へのデプロイ

提供されたスクリプト ( deploy.sh ) を使用してデプロイメントを実行します。これには、ECR リポジトリ、IAM ロール、Docker-ECR 認証、Docker イメージの構築、ECR イメージのアップロード、IAM ロールの ARN 取得、Lambda 関数の検証、構成、デプロイの作成または確認が含まれます。