load test llm with locust
1.0.0
Locust, alat pengujian beban sumber terbuka, adalah kerangka kerja populer untuk pengujian beban HTTP dan protokol lainnya. Pendekatannya yang ramah pengembang memungkinkan Anda menentukan pengujian dalam kode Python biasa.
Tes belalang dapat dijalankan dari baris perintah atau menggunakan UI berbasis web. Throughput, waktu respons, dan kesalahan dapat dilihat secara real time dan/atau diekspor untuk dianalisis nanti.
https://docs.locust.io/en/stable/what-is-locust.html
Dalam repositori kode ini, kami memberikan contoh cara melakukan pengujian beban pada LLM API untuk mengevaluasi kebutuhan produksi Anda. Kode ini dikembangkan dalam Notebook SageMaker dan menggunakan antarmuka baris perintah untuk melakukan pengujian beban pada SageMaker dan Bedrock LLM API.
Setelah locustfile.py dikonfigurasi dengan benar, Anda dapat memulai pengujian beban dengan menjalankan perintah di baris perintah. Hal ini memungkinkan Anda menguji sistem dengan berbagai tingkat throughput, bergantung pada kebutuhan spesifik Anda.
belalang --tanpa kepala --pengguna 30 --tingkat kemunculan 30 --waktu berjalan 120 --csv ./benchmark_metric/benchmark_u30
| Jenis | Nama | #persyaratan | # gagal | Rata-rata | Minimal | Maks | medis | permintaan/dtk | kegagalan/s |
|---|---|---|---|---|---|---|---|---|---|
| [Mengirim] | Mengingatkan | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
| Diagregasi | 390 | 0 (0,00%) | 9232 | 2037 | 10282 | 9800 | 3.25 | 0,00 |
Lihat contoh pengujian beban model SageMaker dengan sagemaker_jumpstart_loadtest.ipynb dan model Bedrock dengan bedrock_loadtest.ipynb .
Lihat KONTRIBUSI untuk informasi lebih lanjut.
Perpustakaan ini dilisensikan di bawah Lisensi MIT-0. Lihat file LISENSI.
