BurstGPT

Ein ChatGPT-(GPT-3.5) und GPT-4-Workload-Trace zur Optimierung von LLM-Bereitstellungssystemen

Wichtig

? Traces mit den neuen Spalten SessionID und Elapsed time werden derzeit erfasst und sind bald verfügbar!

Dieses Repository enthält öffentliche Veröffentlichungen eines realen Trace-Datensatzes von LLM, der Arbeitslasten zum Nutzen der Forschungs- und akademischen Gemeinschaft bedient.

Diese LLM-Bereitstellung wird von Microsoft Azure unterstützt.

Derzeit gibt es 4 Dateien in Release v1.1:

• BurstGPT_1.csv enthält unsere gesamte Ablaufverfolgung in den ersten zwei Monaten mit dem Fehler, dass Response tokens 0 s sind. Insgesamt 1429,7k Zeilen.

• BurstGPT_without_fails_1.csv enthält alle unsere Traces in den ersten 2 Monaten ohne Fehler. Insgesamt 1404,3k Zeilen.

• BurstGPT_2.csv enthält alle unsere Traces der zweiten 2 Monate mit dem Fehler, dass Response tokens 0 s sind. Insgesamt 3858,4k Zeilen.

• BurstGPT_without_fails_2.csv enthält alle unsere Traces in den zweiten 2 Monaten ohne Fehler. Insgesamt 3784,2k Zeilen.

BurstGPT_1.csv befindet sich ebenfalls in /data und kann von Ihnen verwendet werden.

Verwendung

1. Sie können die durchschnittlichen Anfragen pro Sekunde (RPS) im Trace entsprechend Ihren Auswertungseinstellungen skalieren.
2. Sie können die Muster in der Spur auch wie in unserem Artikel angegeben modellieren und die Parameter in den Modellen skalieren.
3. Sehen Sie sich unsere einfache Demo zum Anforderungsgenerator in example/ . Wenn Sie spezielle Anforderungen haben, helfen wir Ihnen gerne dabei, die Spur zu erkunden und ihr volles Potenzial auszuschöpfen. Bitte teilen Sie uns etwaige Probleme oder Fragen mit, indem Sie eine E-Mail an die Mailingliste senden.

Zukunftspläne

1. Wir werden den Zeitbereich der Ablaufverfolgung weiterhin aktualisieren und die Endzeit jeder Anfrage hinzufügen.
2. Wir aktualisieren das Konversationsprotokoll, einschließlich der Sitzungs-IDs, Zeitstempel usw., in jeder Konversation, damit Forscher die Konversationsdienste optimieren können.
3. Wir werden die vollständige Benchmark-Suite für die LLM-Inferenz bald als Open Source veröffentlichen.

Papier

Wenn die Spur in Ihrer Forschung verwendet wird, verweisen Sie bitte unbedingt auf unseren Artikel:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

Hauptmerkmale

• Dauer: 121 aufeinanderfolgende Tage in 4 aufeinanderfolgenden Monaten.
• Datensatzgröße: ~5,29 Millionen Zeilen, ~188 MB.

Schema

• Timestamp : Zeitpunkt der Anforderungseinreichung, Sekunden ab 0:00:00 am ersten Tag.
• Model : sogenannte Modelle, einschließlich ChatGPT (GPT-3.5) und GPT-4 .
• Request tokens : Länge der Anforderungstoken.
• Response tokens : Länge der Antworttokens.
• Total tokens : Länge der Anforderungstokens plus Länge der Antworttokens.
• Log Type : Die Art und Weise, wie Benutzer das Modell aufrufen, im Konversationsmodus oder mithilfe der API, einschließlich Conversation log und API log .

Datenübersicht (erste 2 Monate)

Abbildung 1: Wöchentliche Periodizität in BurstGPT.

Abbildung 2: Tägliche Periodizität in BurstGPT.

Abbildung 3: Durchschnittlicher täglicher Anforderungs- und Antwortdurchsatz in BurstGPT.

Abbildung 4: Statistik der Anforderungs- und Antworttokens in BurstGPT.