BurstGPT

LLM サービス提供システムを最適化するための ChatGPT(GPT-3.5) および GPT-4 ワークロード トレース

重要

?新しい列SessionIDとElapsed timeを含むトレースは現在収集中であり、間もなく利用可能になる予定です。

このリポジトリには、研究および学術コミュニティの利益のためにワークロードを提供する LLM の実世界のトレース データセットの公開リリースが含まれています。

この LLM サービスは Microsoft Azure を利用しています。

現在、リリース v1.1 には 4 つのファイルがあります。

• BurstGPT_1.csvは、最初の 2 か月のすべてのトレースが含まれていますが、 Response tokensが0秒であるという失敗も含まれています。合計 1429.7k 行。

• BurstGPT_without_fails_1.csvは、最初の 2 か月間の障害のないすべてのトレースが含まれています。合計 1404.3k 行。

• BurstGPT_2.csvは、 Response tokensが0秒であるという失敗を含む、2 番目の 2 か月間のすべてのトレースが含まれています。合計 3858.4k 行。

• BurstGPT_without_fails_2.csvは、失敗なしの 2 か月目のすべてのトレースが含まれています。合計 3784.2k 行。

BurstGPT_1.csvも/dataにあり、使用できます。

使用法

1. 評価設定に応じて、トレース内の 1 秒あたりの平均リクエスト数 (RPS) をスケールできます。
2. また、論文で示されているようにトレース内のパターンをモデル化し、モデル内のパラメータをスケールすることもできます。
3. example/で簡単なリクエスト ジェネレーターのデモを確認してください。特定のニーズがある場合は、トレースの探索と最大限の可能性の活用を喜んでお手伝いします。問題や質問がある場合は、メーリング リストに電子メールを送信してお知らせください。

今後の予定

1. 今後もトレースの時間範囲を更新し、各リクエストの終了時間を追加していきます。
2. 研究者が会話サービスを最適化できるよう、各会話のセッション ID、タイムスタンプなどを含む会話ログを更新します。
3. LLM 推論用の完全なベンチマーク スイートを間もなくオープンソース化する予定です。

紙

トレースを研究に利用する場合は、必ず次の論文を参照してください。

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

主な特徴

• 期間: 連続 4 か月で連続 121 日間。
• データセットのサイズ: ~529 万行、~188MB。

スキーマ

• Timestamp : リクエストの送信時刻、初日の0:00:00からの秒数。
• Model : ChatGPT (GPT-3.5) やGPT-4などのモデルと呼ばれます。
• Request tokens : リクエストトークンの長さ。
• Response tokens : 応答トークンの長さ。
• Total tokens : リクエスト トークンの長さとレスポンス トークンの長さを足したもの。
• Log Type : ユーザーが会話モードまたは API を使用してモデルを呼び出す方法 ( Conversation logとAPI logを含む)。

データの概要 (最初の 2 か月)

図 1: BurstGPT の毎週の周期性。

図 2: BurstGPT の毎日の周期性。

図 3: BurstGPT の 1 日あたりの平均リクエストおよびレスポンス スループット。

図 4: BurstGPT のリクエスト トークンとレスポンス トークンの統計。