load test llm with locust

使用 Locust 负载测试 LLM

Locust 是一个开源负载测试工具，是用于负载测试 HTTP 和其他协议的流行框架。其开发人员友好的方法允许您用常规 Python 代码定义测试。

Locust 测试可以从命令行或使用其基于 Web 的 UI 运行。吞吐量、响应时间和错误可以实时查看和/或导出以供以后分析。

https://docs.locust.io/en/stable/what-is-locust.html

在此代码存储库中，我们提供了如何对 LLM API 执行负载测试以评估您的生产需求的示例。该代码是在 SageMaker Notebook 中开发的，并利用命令行界面对 SageMaker 和 Bedrock LLM API 进行负载测试。

正确配置 locustfile.py 后，您可以通过在命令行中执行命令来启动负载测试。这使您可以根据您的具体要求以不同的吞吐量水平测试系统。

蝗虫 --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30

类型	姓名	# 要求	# 失败	平均	最小	最大限度	医学	请求数/秒	失败次数/秒
[发送]	迅速的	390	0 (0.00%)	9232	2037	10282	9800	3.25	0.00
聚合		390	0 (0.00%)	9232	2037	10282	9800	3.25	0.00

请参阅我们使用sagemaker_jumpstart_loadtest.ipynb对 SageMaker 模型进行负载测试的示例，以及使用bedrock_loadtest.ipynb对 Bedrock 模型进行负载测试的示例。

安全

请参阅贡献以获取更多信息。

执照

该库根据 MIT-0 许可证获得许可。请参阅许可证文件。