Unduh OD SWE bench - Unduh kode sumber OD SWE bench

OD SWE bench

Kode sumber lainnya

Unduh

Kawi si Llama SWE

Kode dan data untuk makalah SWE-bench ICLR 2024 kami: Bisakah Model Bahasa Menyelesaikan Masalah GitHub di Dunia Nyata?

Silakan lihat situs web kami untuk papan peringkat publik dan log perubahan untuk informasi tentang pembaruan terkini pada benchmark SWE-bench.

? Berita

[April. 15, 2024] : Bangku SWE telah mengalami perbaikan besar untuk menyelesaikan masalah dengan sistem evaluasi. Baca lebih lanjut di laporan kami.
[April. 2 Agustus 2024] : Kami telah merilis agen SWE, yang menetapkan set tes bangku SWE lengkap yang canggih! (Menciak?)
[Januari. 16, 2024] : SWE-bench telah diterima di ICLR 2024 sebagai presentasi lisan! (Ulasan Terbuka?)

Ringkasan

SWE-bench adalah tolok ukur untuk mengevaluasi model bahasa besar pada masalah perangkat lunak dunia nyata yang dikumpulkan dari GitHub. Mengingat basis kode dan masalah , model bahasa ditugaskan untuk membuat patch yang menyelesaikan masalah yang dijelaskan.

Untuk mengakses SWE-bench, salin dan jalankan kode berikut:

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

Mendirikan

Untuk membuat bangku SWE dari sumber, ikuti langkah-langkah berikut:

Kloning repositori ini secara lokal
cd ke dalam repositori.
Jalankan conda env create -f environment.yml untuk membuat lingkungan conda bernama swe-bench
Aktifkan lingkungan dengan conda activate swe-bench

? Penggunaan

Anda dapat mengunduh kumpulan data SWE-bench secara langsung (dev, set pengujian) atau dari HuggingFace.

Untuk menggunakan SWE-Bench, Anda dapat:

Latih model Anda sendiri pada kumpulan data kami yang telah diproses sebelumnya
Jalankan inferensi pada model yang ada (model yang Anda miliki di disk seperti LLaMA, atau model yang dapat Anda akses melalui API seperti GPT-4). Langkah inferensi adalah saat Anda mendapatkan repo dan masalah serta meminta model mencoba membuat perbaikan untuk masalah tersebut.
Evaluasi model terhadap bangku SWE. Di sinilah Anda mengambil tugas SWE-Bench dan solusi yang diusulkan model dan mengevaluasi kebenarannya.
Jalankan prosedur pengumpulan data SWE-bench di repositori Anda sendiri, untuk membuat tugas SWE-Bench baru.

Unduhan

Kumpulan data	Model
? bangku SWE	? SWE-Llama 13b
? Pengambilan "Oracle".	? SWE-Llama 13b (PEFT)
? Pengambilan BM25 13K	? SWE-Llama 7b
? Pengambilan BM25 27K	? SWE-Llama 7b (PEFT)
? Pengambilan BM25 40K
? Pengambilan BM25 50K (token Llama)

? Tutorial

Kami juga telah menulis postingan blog berikut tentang cara menggunakan berbagai bagian SWE-bench. Jika Anda ingin melihat postingan tentang topik tertentu, harap beri tahu kami melalui masalah.

[1 Nov 2023] Mengumpulkan Tugas Evaluasi SWE-Bench (?)
[6 Nov 2023] Evaluasi di bangku SWE (?)

? Kontribusi

Kami ingin sekali mendengar masukan dari komunitas riset NLP, Pembelajaran Mesin, dan Rekayasa Perangkat Lunak yang lebih luas, dan kami menyambut baik kontribusi, permintaan penarikan, atau masalah apa pun! Untuk melakukannya, silakan ajukan permintaan penarikan atau penerbitan baru dan isi templat yang sesuai. Kami pasti akan segera menindaklanjutinya!

Kontak person: Carlos E. Jimenez dan John Yang (Email: {carlosej, jy1682}@princeton.edu).

✍️ Kutipan

Jika Anda merasa pekerjaan kami bermanfaat, silakan gunakan kutipan berikut.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}