تنزيل OD SWE bench - تنزيل كود مصدر OD SWE bench

OD SWE bench

شفرة المصدر الأخرى

تنزيل

كاوي اللاما السويدية

التعليمات البرمجية والبيانات الخاصة بورقة SWE-bench الخاصة بـ ICLR 2024: هل يمكن لنماذج اللغة حل مشكلات GitHub في العالم الحقيقي؟

يرجى الرجوع إلى موقعنا الإلكتروني للحصول على لوحة المتصدرين العامة وسجل التغيير للحصول على معلومات حول آخر التحديثات لمعيار SWE-bench.

؟ أخبار

[أبريل. 15, 2024] : لقد مر SWE-bench بتحسينات كبيرة لحل المشكلات المتعلقة بأداة التقييم. اقرأ المزيد في تقريرنا.
[أبريل. 2، 2024] : لقد أصدرنا وكيل SWE، الذي يضع أحدث ما توصلت إليه مجموعة اختبار SWE-bench الكاملة! (تغريدة؟)
[يناير. 16, 2024] : تم قبول مقعد SWE في ICLR 2024 كعرض تقديمي شفهي! (مراجعة مفتوحة؟)

ملخص

يعد SWE-bench معيارًا لتقييم نماذج اللغات الكبيرة بشأن مشكلات البرامج في العالم الحقيقي التي تم جمعها من GitHub. نظرًا لقاعدة التعليمات البرمجية والمشكلة ، يتم تكليف نموذج اللغة بإنشاء تصحيح يعمل على حل المشكلة الموضحة.

للوصول إلى SWE-bench، انسخ الكود التالي وقم بتشغيله:

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

يثبت

لبناء SWE-bench من المصدر، اتبع الخطوات التالية:

استنساخ هذا المستودع محليا
cd في المستودع.
قم بتشغيل conda env create -f environment.yml لإنشاء بيئة conda باسم swe-bench
قم بتنشيط البيئة باستخدام conda activate swe-bench

؟ الاستخدام

يمكنك تنزيل مجموعة بيانات SWE-bench مباشرة (المطورين، مجموعات الاختبار) أو من HuggingFace.

لاستخدام SWE-Bench، يمكنك:

قم بتدريب نماذجك الخاصة على مجموعات البيانات المُجهزة مسبقًا لدينا
قم بتشغيل الاستدلال على النماذج الموجودة (إما النماذج الموجودة على القرص مثل LLaMA، أو النماذج التي يمكنك الوصول إليها من خلال واجهة برمجة التطبيقات مثل GPT-4). خطوة الاستدلال هي حيث تحصل على الريبو ومشكلة وتجعل النموذج يحاول إنشاء إصلاح لها.
تقييم النماذج مقابل SWE-bench. هذا هو المكان الذي تقوم فيه بمهمة SWE-Bench والحل المقترح للنموذج وتقييم مدى صحته.
قم بتشغيل إجراء جمع بيانات SWE-bench على مستودعاتك الخاصة، لإنشاء مهام SWE-Bench جديدة.

التنزيلات

مجموعات البيانات	نماذج
؟ مقعد SWE	؟ سوي-لاما 13 ب
؟ استرجاع "أوراكل".	؟ سوي-لاما 13 ب (PEFT)
؟ استرجاع BM25 13 كيلو	؟ سوي-لاما 7 ب
؟ استرجاع BM25 27 كيلو	؟ سوي-لاما 7 ب (PEFT)
؟ استرجاع BM25 40 ألف
؟ استرجاع BM25 50 ألف (رموز اللاما)

؟ دروس

لقد كتبنا أيضًا منشورات المدونة التالية حول كيفية استخدام أجزاء مختلفة من SWE-bench. إذا كنت ترغب في رؤية مشاركة حول موضوع معين، يرجى إعلامنا بذلك عبر مشكلة.

[1 نوفمبر. 2023] جمع مهام التقييم لـ SWE-Bench (؟)
[6 نوفمبر. 2023] التقييم على مقاعد البدلاء SWE (؟)

؟ المساهمات

نود أن نسمع من مجتمعات البحث الأوسع في البرمجة اللغوية العصبية والتعلم الآلي وهندسة البرمجيات، ونرحب بأي مساهمات أو طلبات سحب أو مشكلات! للقيام بذلك، يرجى تقديم طلب سحب أو إصدار جديد وملء النماذج المقابلة وفقًا لذلك. سنتأكد من المتابعة قريبًا!

جهة الاتصال: كارلوس إي. خيمينيز وجون يانغ (البريد الإلكتروني: {carlosej, jy1682}@princeton.edu).

✍️ الاقتباس

إذا وجدت أن عملنا مفيد، يرجى استخدام الاستشهادات التالية.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}