ดาวน์โหลด BurstGPT - ดาวน์โหลดซอร์สโค้ด BurstGPT

BurstGPT

ซอร์สโค้ดอื่น ๆ

v1.1

ดาวน์โหลด

ChatGPT(GPT-3.5) และการติดตามปริมาณงาน GPT-4 เพื่อเพิ่มประสิทธิภาพระบบการให้บริการ LLM

สำคัญ

- การติดตามที่มีคอลัมน์ใหม่ SessionID และ Elapsed time อยู่ระหว่างการรวบรวมในขณะนี้และจะพร้อมใช้งานเร็วๆ นี้!

พื้นที่เก็บข้อมูลนี้ประกอบด้วยชุดข้อมูลการติดตามในโลกแห่งความเป็นจริงของ LLM ที่ให้บริการปริมาณงานเพื่อประโยชน์ของชุมชนการวิจัยและวิชาการ

การให้บริการ LLM นี้ขับเคลื่อนโดย Microsoft Azure

ขณะนี้มี 4 ไฟล์ใน Release v1.1:

BurstGPT_1.csv มีการติดตามทั้งหมดของเราในช่วง 2 เดือนแรก โดยมีความล้มเหลวบางประการที่ Response tokens เป็น 0 วินาที ทั้งหมด 1,429.7,000 บรรทัด
BurstGPT_without_fails_1.csv มีการติดตามทั้งหมดของเราในช่วง 2 เดือนแรกโดยไม่มีข้อผิดพลาด ทั้งหมด 1,404.3,000 บรรทัด
BurstGPT_2.csv มีการติดตามทั้งหมดของเราในช่วง 2 เดือนที่สอง โดยมีความล้มเหลวบางประการที่ Response tokens เป็น 0 วินาที ทั้งหมด 3,858.4,000 บรรทัด
BurstGPT_without_fails_2.csv มีการติดตามทั้งหมดของเราในช่วง 2 เดือนที่สองโดยไม่มีข้อผิดพลาด ทั้งหมด 3,784.2,000 บรรทัด

BurstGPT_1.csv ก็อยู่ใน /data เช่นกันเพื่อให้คุณใช้

การใช้งาน

คุณสามารถปรับขนาดคำขอเฉลี่ยต่อวินาที (RPS) ในการติดตามตามการตั้งค่าการประเมินของคุณ
คุณสามารถสร้างแบบจำลองรูปแบบในการติดตามตามที่ระบุไว้ในเอกสารของเราและปรับขนาดพารามิเตอร์ในแบบจำลอง
ตรวจสอบการสาธิตตัวสร้างคำขออย่างง่ายของเราใน example/ หากคุณมีความต้องการเฉพาะเจาะจง เรายินดีที่จะช่วยเหลือคุณในการสำรวจและใช้ประโยชน์จากร่องรอยดังกล่าวให้เต็มศักยภาพ โปรดแจ้งให้เราทราบปัญหาหรือคำถามใด ๆ โดยส่งอีเมลไปที่รายชื่อผู้รับจดหมาย

แผนการในอนาคต

เราจะอัปเดตช่วงเวลาของการติดตามต่อไปและเพิ่มเวลาสิ้นสุดของแต่ละคำขอ
เราจะอัปเดตบันทึกการสนทนา รวมถึงรหัสเซสชัน การประทับเวลา ฯลฯ ในแต่ละการสนทนา เพื่อให้นักวิจัยสามารถเพิ่มประสิทธิภาพบริการการสนทนาได้
เราจะเปิดซอร์สชุดการวัดประสิทธิภาพเต็มรูปแบบสำหรับการอนุมาน LLM เร็วๆ นี้

กระดาษ

หากมีการใช้การติดตามในการวิจัยของคุณ โปรดอ้างอิงเอกสารของเรา:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

ลักษณะสำคัญ

ระยะเวลา: 121 วันติดต่อกันใน 4 เดือนติดต่อกัน
ขนาดชุดข้อมูล: ~5.29M บรรทัด ~188MB

สคีมา

Timestamp : เวลาส่งคำขอ วินาทีตั้งแต่ 0:00:00 . ของวันแรก
Model : เรียกว่ารุ่นต่างๆ ได้แก่ ChatGPT (GPT-3.5) และ GPT-4
Request tokens : ความยาวโทเค็นคำขอ
Response tokens : ความยาวโทเค็นการตอบกลับ
Total tokens : ความยาวโทเค็นคำขอบวกกับความยาวโทเค็นการตอบกลับ
Log Type : วิธีที่ผู้ใช้เรียกใช้โมเดล ในโหมดการสนทนา หรือใช้ API รวมถึง Conversation log และ API log