BurstGPT

Une trace de charge de travail ChatGPT (GPT-3.5) et GPT-4 pour optimiser les systèmes de service LLM

Important

? Les traces avec les nouvelles colonnes SessionID et Elapsed time sont actuellement en cours de collecte et seront bientôt disponibles !

Ce référentiel contient des versions publiques d'un ensemble de données de trace réelles de LLM servant des charges de travail au profit de la communauté de recherche et universitaire.

Ce service LLM est alimenté par Microsoft Azure.

Il y a actuellement 4 fichiers dans la version v1.1 :

• BurstGPT_1.csv contient toutes nos traces au cours des 2 premiers mois avec un certain échec car Response tokens sont 0 s. Au total 1429,7k lignes.

• BurstGPT_without_fails_1.csv contient toute notre trace des 2 premiers mois sans échec. Au total 1404,3k lignes.

• BurstGPT_2.csv contient toute notre trace au cours des 2 seconds mois avec un certain échec car Response tokens sont 0 s. Au total 3858,4k lignes.

• BurstGPT_without_fails_2.csv contient toute notre trace au cours des 2 seconds mois sans échec. Au total 3784,2k lignes.

BurstGPT_1.csv se trouve également dans /data pour que vous puissiez l'utiliser.

Usage

1. Vous pouvez adapter la moyenne des requêtes par seconde (RPS) dans la trace en fonction de vos configurations d'évaluation.
2. Vous pouvez également modéliser les motifs de la trace comme indiqué dans notre article et mettre à l'échelle les paramètres des modèles.
3. Consultez notre démo simple de générateur de requêtes dans example/ . Si vous avez des besoins spécifiques, nous sommes impatients de vous aider à explorer et à exploiter la trace à son plein potentiel. Veuillez nous faire part de tout problème ou question en envoyant un e-mail à la liste de diffusion.

Projets futurs

1. Nous continuerons à mettre à jour la plage horaire de la trace et à ajouter l'heure de fin de chaque requête.
2. Nous mettrons à jour le journal des conversations, y compris les identifiants de session, les horodatages, etc., dans chaque conversation, afin que les chercheurs puissent optimiser les services de conversation.
3. Nous publierons bientôt la suite complète de benchmarks pour l'inférence LLM.

Papier

Si la trace est utilisée dans votre recherche, veuillez vous assurer de faire référence à notre article :

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Principales caractéristiques

• Durée : 121 jours consécutifs sur 4 mois consécutifs.
• Taille de l'ensemble de données : ~ 5,29 millions de lignes, ~ 188 Mo.

Schéma

• Timestamp : heure de soumission de la demande, secondes à partir de 0:00:00 le premier jour.
• Model : appelés modèles, notamment ChatGPT (GPT-3.5) et GPT-4 .
• Request tokens : longueur des jetons de requête.
• Response tokens : longueur des jetons de réponse.
• Total tokens : longueur des jetons de demande plus longueur des jetons de réponse.
• Log Type : la façon dont les utilisateurs appellent le modèle, en mode conversation ou à l'aide de l'API, y compris Conversation log et API log .

Aperçu des données (2 premiers mois)

Figure 1 : Périodicité hebdomadaire dans BurstGPT.

Figure 2 : Périodicité quotidienne dans BurstGPT.

Figure 3 : Débit quotidien moyen de requêtes et de réponses dans BurstGPT.

Figure 4 : Statistiques des jetons de requête et de réponse dans BurstGPT.