load test llm with locust
1.0.0
Locust, ein Open-Source-Lasttest-Tool, ist ein beliebtes Framework für Lasttests von HTTP und anderen Protokollen. Dank des entwicklerfreundlichen Ansatzes können Sie Ihre Tests in normalem Python-Code definieren.
Locust-Tests können über die Befehlszeile oder über die webbasierte Benutzeroberfläche ausgeführt werden. Durchsatz, Reaktionszeiten und Fehler können in Echtzeit angezeigt und/oder zur späteren Analyse exportiert werden.
https://docs.locust.io/en/stable/what-is-locust.html
In diesem Code-Repository stellen wir ein Beispiel dafür bereit, wie Sie Lasttests für die LLM-API durchführen, um Ihre Produktionsanforderungen zu bewerten. Der Code wird in einem SageMaker-Notebook entwickelt und nutzt die Befehlszeilenschnittstelle, um Lasttests sowohl auf der SageMaker- als auch auf der Bedrock LLM-API durchzuführen.
Sobald locustfile.py ordnungsgemäß konfiguriert ist, können Sie den Auslastungstest starten, indem Sie einen Befehl in der Befehlszeile ausführen. Dadurch können Sie das System je nach Ihren spezifischen Anforderungen mit unterschiedlichem Durchsatz testen.
locust --headless --users 30 --spawn-rate 30 --run-time 120 --csv ./benchmark_metric/benchmark_u30
| Typ | Name | # Anforderungen | # schlägt fehl | Durchschn | Min | Max | Med | Anforderung/s | Ausfälle/s |
|---|---|---|---|---|---|---|---|---|---|
| [Schicken] | Prompt | 390 | 0 (0,00 %) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
| Aggregiert | 390 | 0 (0,00 %) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
Sehen Sie sich unsere Beispiele für Auslastungstests des SageMaker-Modells mit sagemaker_jumpstart_loadtest.ipynb und des Bedrock-Modells mit bedrock_loadtest.ipynb an.
Weitere Informationen finden Sie unter BEITRAGEN.
Diese Bibliothek ist unter der MIT-0-Lizenz lizenziert. Siehe die LICENSE-Datei.
