load test llm with locustダウンロード - load test llm with locustソースコードのダウンロード

load test llm with locust

その他のソースコード

1.0.0

ダウンロード

Locust を使用した LLM の負荷テスト

オープンソースの負荷テストツールである Locust は、HTTP およびその他のプロトコルの負荷テストによく使用されるフレームワークです。開発者に優しいアプローチにより、通常の Python コードでテストを定義できます。

Locust テストは、コマンドラインまたは Web ベースの UI を使用して実行できます。スループット、応答時間、エラーはリアルタイムで表示したり、後の分析のためにエクスポートしたりできます。

https://docs.locust.io/en/stable/what-is-locust.html

このコードリポジトリでは、実稼働要件を評価するために LLM API で負荷テストを実行する方法の例を提供します。コードは SageMaker Notebook 内で開発され、コマンドラインインターフェイスを利用して SageMaker と Bedrock LLM API の両方で負荷テストを実施します。

locustfile.py が適切に構成されたら、コマンドラインでコマンドを実行して負荷テストを開始できます。これにより、特定の要件に応じて、さまざまなレベルのスループットでシステムをテストできます。

locust --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30