load test llm with locust
1.0.0
Locust, una herramienta de prueba de carga de código abierto, es un marco popular para pruebas de carga HTTP y otros protocolos. Su enfoque amigable para los desarrolladores le permite definir sus pruebas en código Python normal.
Las pruebas de Locust se pueden ejecutar desde la línea de comandos o mediante su interfaz de usuario basada en web. El rendimiento, los tiempos de respuesta y los errores se pueden ver en tiempo real y/o exportar para su posterior análisis.
https://docs.locust.io/en/stable/what-is-locust.html
En este repositorio de código, proporcionamos un ejemplo de cómo realizar pruebas de carga en la API LLM para evaluar sus requisitos de producción. El código se desarrolla dentro de un SageMaker Notebook y utiliza la interfaz de línea de comandos para realizar pruebas de carga en la API de SageMaker y Bedrock LLM.
Una vez que locustfile.py esté configurado correctamente, puede iniciar la prueba de carga ejecutando un comando en la línea de comando. Esto le permite probar el sistema con distintos niveles de rendimiento, según sus requisitos específicos.
langosta --sin cabeza --usuarios 30 --tasa de generación 30 --tiempo de ejecución 120 --csv ./benchmark_metric/benchmark_u30
| Tipo | Nombre | # requisitos | # falla | promedio | mín. | máx. | Medicina | requerimiento/s | fallas/s |
|---|---|---|---|---|---|---|---|---|---|
| [Enviar] | Inmediato | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
| Agregado | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0.00 |
Vea nuestros ejemplos de pruebas de carga del modelo SageMaker con sagemaker_jumpstart_loadtest.ipynb y el modelo Bedrock con bedrock_loadtest.ipynb .
Consulte CONTRIBUCIÓN para obtener más información.
Esta biblioteca tiene la licencia MIT-0. Ver el archivo de LICENCIA.
