BurstGPT

Pelacakan Beban Kerja ChatGPT(GPT-3.5) & GPT-4 untuk Mengoptimalkan Sistem Pelayanan LLM

Penting

? Jejak dengan kolom baru SessionID dan Elapsed time sedang dikumpulkan sekarang dan akan segera tersedia!

Repositori ini berisi rilis publik dari kumpulan data jejak LLM dunia nyata yang melayani beban kerja untuk kepentingan penelitian dan komunitas akademis.

Pelayanan LLM ini didukung oleh Microsoft Azure.

Saat ini ada 4 file di Rilis v1.1:

• BurstGPT_1.csv berisi semua jejak kami dalam 2 bulan pertama dengan beberapa kegagalan karena Response tokens adalah 0 detik. Benar-benar 1429.7k baris.

• BurstGPT_without_fails_1.csv berisi semua jejak kami dalam 2 bulan pertama tanpa kegagalan. Benar-benar 1404.3k baris.

• BurstGPT_2.csv berisi semua jejak kami dalam 2 bulan kedua dengan beberapa kegagalan karena Response tokens adalah 0 detik. Benar-benar 3858.4k baris.

• BurstGPT_without_fails_2.csv berisi semua jejak kami dalam 2 bulan kedua tanpa kegagalan. Benar-benar 3784.2k baris.

BurstGPT_1.csv juga ada di /data untuk Anda gunakan.

Penggunaan

1. Anda dapat menskalakan rata-rata Permintaan Per Detik (RPS) dalam pelacakan sesuai dengan pengaturan evaluasi Anda.
2. Anda juga dapat memodelkan pola dalam jejak seperti yang ditunjukkan dalam makalah kami dan menskalakan parameter dalam model.
3. Periksa demo pembuat permintaan sederhana kami di example/ . Jika Anda memiliki kebutuhan khusus, kami siap membantu Anda menjelajahi dan memanfaatkan jejak ini semaksimal mungkin. Harap beri tahu kami jika ada masalah atau pertanyaan dengan mengirimkan email ke milis.

Rencana Masa Depan

1. Kami akan terus memperbarui rentang waktu pelacakan dan menambahkan waktu berakhir setiap permintaan.
2. Kami akan memperbarui log percakapan, termasuk ID sesi, stempel waktu, dll, di setiap percakapan, agar peneliti dapat mengoptimalkan layanan percakapan.
3. Kami akan segera membuka rangkaian benchmark lengkap untuk inferensi LLM.

Kertas

Jika jejak tersebut digunakan dalam penelitian Anda, harap pastikan untuk merujuk pada makalah kami:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Karakteristik utama

• Durasi: 121 hari berturut-turut dalam 4 bulan berturut-turut.
• Ukuran kumpulan data: ~5,29 juta baris, ~188MB.

Skema

• Timestamp : waktu pengiriman permintaan, detik mulai 0:00:00 pada hari pertama.
• Model : disebut model, termasuk ChatGPT (GPT-3.5) dan GPT-4 .
• Request tokens : Permintaan panjang token.
• Response tokens : Panjang token respons.
• Total tokens : Panjang token permintaan ditambah panjang token respons.
• Log Type : cara pengguna memanggil model, dalam mode percakapan atau menggunakan API, termasuk Conversation log dan API log .

Ikhtisar Data (2 Bulan Pertama)

Gambar 1: Periodisitas Mingguan di BurstGPT.

Gambar 2: Periodisitas Harian di BurstGPT.

Gambar 3: Rata-rata Throughput Permintaan dan Respons Harian di BurstGPT.

Gambar 4: Statistik Token Permintaan dan Respons di BurstGPT.