OD SWE bench Download - OD SWE bench Quellcode herunterladen

OD SWE bench

Anderer Quellcode

Herunterladen

Kawi das SWE-Lama

Code und Daten für unser ICLR 2024-Papier SWE-bench: Können Sprachmodelle reale GitHub-Probleme lösen?

Auf unserer Website finden Sie die öffentliche Bestenliste und das Änderungsprotokoll für Informationen zu den neuesten Aktualisierungen des SWE-Benchmark-Benchmarks.

? Nachricht

[Apr. 15, 2024] : SWE-Bench hat wesentliche Verbesserungen vorgenommen, um Probleme mit dem Bewertungssystem zu beheben. Lesen Sie mehr in unserem Bericht.
[Apr. 2, 2024] : Wir haben den SWE-Agent veröffentlicht, der den neuesten Stand der Technik im gesamten SWE-Bench-Testset darstellt! (Tweeten?)
[Jan. 16, 2024] : SWE-Bench wurde als mündlicher Vortrag zum ICLR 2024 angenommen! (OpenReview?)

Überblick

SWE-Bench ist ein Benchmark zur Bewertung großer Sprachmodelle zu realen Softwareproblemen, der von GitHub gesammelt wurde. Bei einer gegebenen Codebasis und einem Problem wird ein Sprachmodell damit beauftragt, einen Patch zu generieren, der das beschriebene Problem behebt.

Um auf SWE-bench zuzugreifen, kopieren Sie den folgenden Code und führen Sie ihn aus:

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

Aufstellen

Gehen Sie folgendermaßen vor, um die SWE-Bench aus dem Quellcode zu erstellen:

Klonen Sie dieses Repository lokal
cd in das Repository.
Führen Sie conda env create -f environment.yml aus, um eine Conda-Umgebung mit dem Namen swe-bench zu erstellen
Aktivieren Sie die Umgebung mit conda activate swe-bench

? Verwendung

Sie können den SWE-Bench-Datensatz direkt (Entwickler, Testsätze) oder von HuggingFace herunterladen.

Um SWE-Bench zu verwenden, können Sie:

Trainieren Sie Ihre eigenen Modelle anhand unserer vorverarbeiteten Datensätze
Führen Sie Rückschlüsse auf vorhandene Modelle aus (entweder Modelle, die Sie auf der Festplatte haben, wie LLaMA, oder Modelle, auf die Sie über eine API wie GPT-4 Zugriff haben). Im Inferenzschritt erhalten Sie ein Repo und ein Problem und lassen das Modell versuchen, eine Lösung dafür zu generieren.
Bewerten Sie Modelle anhand der SWE-Bench. Hier nehmen Sie eine SWE-Bench-Aufgabe und einen Modelllösungsvorschlag und bewerten deren Richtigkeit.
Führen Sie das Datenerfassungsverfahren von SWE-Bench in Ihren eigenen Repositorys aus, um neue SWE-Bench-Aufgaben zu erstellen.

Downloads

Datensätze	Modelle
? SWE-Bank	? SWE-Lama 13b
? „Oracle“-Abruf	? SWE-Lama 13b (PEFT)
? BM25-Abruf 13K	? SWE-Lama 7b
? BM25-Abruf 27K	? SWE-Lama 7b (PEFT)
? BM25-Abruf 40.000
? BM25-Abruf 50.000 (Lama-Token)

? Tutorials

Wir haben auch die folgenden Blog-Beiträge über die Verwendung verschiedener Teile von SWE-bench geschrieben. Wenn Sie einen Beitrag zu einem bestimmten Thema sehen möchten, teilen Sie uns dies bitte über ein Problem mit.

[1. Nov. 2023] Sammeln von Bewertungsaufgaben für SWE-Bench (?)
[6. Nov. 2023] Bewertung auf SWE-Bank (?)

? Beiträge

Wir würden gerne von der breiteren NLP-, maschinellen Lern- und Software-Engineering-Forschungsgemeinschaft hören und freuen uns über alle Beiträge, Pull-Requests oder Probleme! Bitte reichen Sie dazu entweder einen neuen Pull-Request oder Issue ein und füllen Sie die entsprechenden Vorlagen entsprechend aus. Wir werden uns in Kürze bei Ihnen melden!

Ansprechpartner: Carlos E. Jimenez und John Yang (E-Mail: {carlosej, jy1682}@princeton.edu).

✍️ Zitat

Wenn Sie unsere Arbeit hilfreich finden, verwenden Sie bitte die folgenden Zitate.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}