BurstGPT

用於優化 LLM 服務系統的 ChatGPT(GPT-3.5) 和 GPT-4 工作負載追蹤

重要的

？帶有新列SessionID和Elapsed time的追蹤現在正在收集中，並將很快提供！

該儲存庫包含 LLM 服務工作負載的真實追蹤資料集的公開版本，以造福研究和學術界。

此法學碩士服務由 Microsoft Azure 提供支援。

Release v1.1 目前有 4 個檔案：

• BurstGPT_1.csv包含我們在前 2 個月內的所有跟踪，但Response tokens為0 。總共 1429.7k 行。

• BurstGPT_without_fails_1.csv包含我們在前 2 個月內沒有失敗的所有追蹤。總共 1404.3k 行。

• BurstGPT_2.csv包含我們在後 2 個月內的所有跟踪，但Response tokens為0 。總共 3858.4k 行。

• BurstGPT_without_fails_2.csv包含我們在接下來的 2 個月內沒有失敗的所有追蹤。總共 3784.2k 行。

BurstGPT_1.csv也在/data中供您使用。

用法

1. 您可以根據您的評估設定縮放追蹤中的平均每秒請求數 (RPS)。
2. 您也可以按照我們論文中的指示對跡線中的模式進行建模，並縮放模型中的參數。
3. 檢查example/中的簡單請求產生器示範。如果您有一些特定需求，我們渴望幫助您探索並充分利用追蹤的潛力。請透過向郵件清單發送電子郵件告知我們任何問題或疑問。

未來計劃

1. 我們將繼續更新追蹤的時間範圍並添加每個請求的結束時間。
2. 我們會更新每次對話的對話日誌，包括會話ID、時間戳記等，以便研究者優化對話服務。
3. 我們將很快開源 LLM 推理的完整基準套件。

紙

如果您的研究中使用了該痕跡，請確保參考我們的論文：

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

主要特點

• 持續時間：連續 4 個月內連續 121 天。
• 資料集大小：~529M 行，~188MB。

模式

• Timestamp ：請求提交時間，從第一天0:00:00開始的秒數。
• Model ：稱為模型，包括ChatGPT (GPT-3.5) 和GPT-4 。
• Request tokens ：請求令牌長度。
• Response tokens ：響應令牌長度。
• Total tokens ：請求令牌長度加上回應令牌長度。
• Log Type ：使用者呼叫模型的方式，是會話模式還是使用API​​，包括Conversation log和API log 。

數據概覽（前 2 個月）

圖 1：BurstGPT 中的每週週期。

圖 2：BurstGPT 的每日週期。

圖 3：BurstGPT 中的平均每日請求和回應吞吐量。

圖 4：BurstGPT 中請求和回應令牌的統計資訊。