BurstGPT

تتبع عبء العمل ChatGPT(GPT-3.5) وGPT-4 لتحسين أنظمة تقديم LLM

مهم

؟ الآثار ذات الأعمدة الجديدة SessionID Elapsed time قيد التجميع الآن وستكون متاحة قريبًا!

يحتوي هذا المستودع على إصدارات عامة لمجموعة بيانات التتبع الواقعية لـ LLM التي تخدم أعباء العمل لصالح المجتمع البحثي والأكاديمي.

يتم تشغيل خدمة LLM هذه بواسطة Microsoft Azure.

يوجد حاليًا 4 ملفات في الإصدار v1.1:

• يحتوي BurstGPT_1.csv على كل آثارنا في أول شهرين مع بعض الفشل حيث تكون Response tokens 0 ثانية. إجمالي 1429.7 ألف خط.

• يحتوي BurstGPT_without_fails_1.csv على جميع آثارنا في أول شهرين دون فشل. إجمالي 1404.3 ألف خط.

• يحتوي BurstGPT_2.csv على كل آثارنا في الشهرين الثانيين مع بعض الفشل حيث تكون Response tokens 0 ثانية. إجمالي 3858.4 ألف خط.

• يحتوي BurstGPT_without_fails_2.csv على كل آثارنا في الشهرين الثانيين دون فشل. إجمالي 3784.2 ألف خط.

BurstGPT_1.csv موجود أيضًا في /data لتستخدمه.

الاستخدام

1. يمكنك قياس متوسط ​​الطلبات في الثانية (RPS) في التتبع وفقًا لإعدادات التقييم الخاصة بك.
2. يمكنك أيضًا تصميم الأنماط الموجودة في التتبع كما هو موضح في ورقتنا وقياس المعلمات في النماذج.
3. تحقق من العرض التوضيحي لمولد الطلب البسيط الخاص بنا في example/ . إذا كانت لديك بعض الاحتياجات المحددة، فنحن حريصون على مساعدتك في استكشاف التتبع والاستفادة منه إلى أقصى إمكاناته. يرجى إعلامنا بأي مشاكل أو أسئلة عن طريق إرسال بريد إلكتروني إلى القائمة البريدية.

الخطط المستقبلية

1. سنستمر في تحديث النطاق الزمني للتتبع وإضافة وقت الانتهاء لكل طلب.
2. سنقوم بتحديث سجل المحادثة، بما في ذلك معرفات الجلسة والطوابع الزمنية وما إلى ذلك، في كل محادثة، للباحثين لتحسين خدمات المحادثة.
3. سنقوم بفتح المصدر لمجموعة المعايير الكاملة لاستدلال LLM قريبًا.

ورق

إذا تم استخدام التتبع في بحثك، فيرجى التأكد من الرجوع إلى ورقتنا البحثية:

 @misc { wang2024burstgpt ,
      title = { BurstGPT: A Real-world Workload Dataset to Optimize LLM Serving Systems } , 
      author = { Yuxin Wang and Yuhan Chen and Zeyu Li and Xueze Kang and Zhenheng Tang and Xin He and Rui Guo and Xin Wang and Qiang Wang and Amelie Chi Zhou and Xiaowen Chu } ,
      year = { 2024 } ,
      eprint = { 2401.17644 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { id='cs.DC' full_name='Distributed, Parallel, and Cluster Computing' is_active=True alt_name=None in_archive='cs' is_general=False description='Covers fault-tolerance, distributed algorithms, stabilility, parallel computation, and cluster computing. Roughly includes material in ACM Subject Classes C.1.2, C.1.4, C.2.4, D.1.3, D.4.5, D.4.7, E.1.' }
}

الخصائص الرئيسية

• المدة: 121 يومًا متتاليًا في 4 أشهر متتالية.
• حجم مجموعة البيانات: ~5.29 مليون سطر، ~188 ميجابايت.

مخطط

• Timestamp : وقت تقديم الطلب، بالثواني من 0:00:00 في اليوم الأول.
• Model : يطلق عليه نماذج منها ChatGPT (GPT-3.5) و GPT-4 .
• Request tokens : طول الرموز المميزة للطلب.
• Response tokens : طول رموز الاستجابة.
• Total tokens : طول الرموز المميزة للطلب بالإضافة إلى طول الرموز المميزة للاستجابة.
• Log Type : الطريقة التي يتصل بها المستخدمون بالنموذج، في وضع المحادثة أو باستخدام واجهة برمجة التطبيقات، بما في ذلك Conversation log وسجل API log .

نظرة عامة على البيانات (أول شهرين)

الشكل 1: الدورية الأسبوعية في BurstGPT.

الشكل 2: الدورية اليومية في BurstGPT.

الشكل 3: متوسط ​​إنتاجية الطلب والاستجابة اليومية في BurstGPT.

الشكل 4: إحصائيات رموز الطلب والاستجابة في BurstGPT.