load test llm with locust
1.0.0
Locust, un outil de test de charge open source, est un cadre populaire pour tester la charge HTTP et d'autres protocoles. Son approche conviviale pour les développeurs vous permet de définir vos tests dans du code Python standard.
Les tests antiacridiens peuvent être exécutés à partir de la ligne de commande ou à l'aide de son interface utilisateur Web. Le débit, les temps de réponse et les erreurs peuvent être visualisés en temps réel et/ou exportés pour une analyse ultérieure.
https://docs.locust.io/en/stable/what-is-locust.html
Dans ce référentiel de code, nous fournissons un exemple de la façon d'effectuer des tests de charge sur l'API LLM pour évaluer vos besoins de production. Le code est développé dans un bloc-notes SageMaker et utilise l'interface de ligne de commande pour effectuer des tests de charge sur les API SageMaker et Bedrock LLM.
Une fois le locustfile.py correctement configuré, vous pouvez lancer le test de charge en exécutant une commande dans la ligne de commande. Cela vous permet de tester le système avec différents niveaux de débit, en fonction de vos besoins spécifiques.
locust --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30
| Taper | Nom | # demandes | # échoue | Moy. | Min. | Max. | Médical | demande/s | échecs |
|---|---|---|---|---|---|---|---|---|---|
| [Envoyer] | Rapide | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
| Agrégé | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
Consultez nos exemples de tests de charge du modèle SageMaker avec sagemaker_jumpstart_loadtest.ipynb et du modèle Bedrock avec bedrock_loadtest.ipynb .
Voir CONTRIBUTION pour plus d'informations.
Cette bibliothèque est sous licence MIT-0. Voir le fichier LICENCE.
