load test llm with locust

使用 Locust 負載測試 LLM

Locust 是一個開源負載測試工具，是用於負載測試 HTTP 和其他協定的流行框架。其開發人員友好的方法可讓您用常規 Python 程式碼定義測試。

Locust 測試可以從命令列或使用其基於 Web 的 UI 運行。吞吐量、回應時間和錯誤可以即時查看和/或匯出以供以後分析。

https://docs.locust.io/en/stable/what-is-locust.html

在此程式碼儲存庫中，我們提供如何對 LLM API 執行負載測試以評估您的生產需求的範例。該程式碼是在 SageMaker Notebook 中開發的，並利用命令列介面對 SageMaker 和 Bedrock LLM API 進行負載測試。

正確配置 locustfile.py 後，您可以透過在命令列中執行命令來啟動負載測試。這使您可以根據您的特定要求以不同的吞吐量等級測試系統。

蝗蟲 --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30

類型	姓名	# 要求	# 失敗	平均	最小	最大限度	醫學	請求數/秒	失敗次數/秒
[發送]	迅速的	390	0 (0.00%)	9232	2037	10282	9800	3.25	0.00
聚合		390	0 (0.00%)	9232	2037	10282	9800	3.25	0.00

請參閱我們使用sagemaker_jumpstart_loadtest.ipynb對 SageMaker 模型進行負載測試的範例，以及使用bedrock_loadtest.ipynb對 Bedrock 模型進行負載測試的範例。

安全

請參閱貢獻以獲取更多資訊。

執照

該庫根據 MIT-0 許可證獲得許可。請參閱許可證文件。