load test llm with locust

Locust를 사용한 부하 테스트 LLM

오픈 소스 부하 테스트 도구인 Locust는 HTTP 및 기타 프로토콜 부하 테스트에 널리 사용되는 프레임워크입니다. 개발자 친화적인 접근 방식을 통해 일반 Python 코드로 테스트를 정의할 수 있습니다.

Locust 테스트는 명령줄이나 웹 기반 UI를 사용하여 실행할 수 있습니다. 처리량, 응답 시간 및 오류를 실시간으로 확인하거나 나중에 분석하기 위해 내보낼 수 있습니다.

https://docs.locust.io/en/stable/what-is-locust.html

이 코드 저장소에서는 LLM API에 대한 로드 테스트를 수행하여 프로덕션 요구 사항을 평가하는 방법에 대한 예를 제공합니다. 코드는 SageMaker 노트북 내에서 개발되었으며 명령줄 인터페이스를 활용하여 SageMaker 및 Bedrock LLM API 모두에서 로드 테스트를 수행합니다.

locustfile.py가 올바르게 구성되면 명령줄에서 명령을 실행하여 부하 테스트를 시작할 수 있습니다. 이를 통해 특정 요구 사항에 따라 다양한 수준의 처리량으로 시스템을 테스트할 수 있습니다.

locust --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30

유형	이름	# 요청	# 실패	평균	최소	맥스	메드	요청/초	실패/초
[보내다]	즉각적인	390	0 (0.00%)	9232	2037년	10282	9800	3.25	0.00
집계됨		390	0 (0.00%)	9232	2037년	10282	9800	3.25	0.00

sagemaker_jumpstart_loadtest.ipynb 를 사용한 SageMaker 모델 및 bedrock_loadtest.ipynb 사용한 Bedrock 모델의 부하 테스트 예를 참조하세요.

보안

자세한 내용은 기여를 참조하세요.

특허

이 라이브러리는 MIT-0 라이선스에 따라 라이선스가 부여됩니다. 라이센스 파일을 참조하십시오.