？訊息

[八月。 2024 年 13 月] ：引入SWE-bench 驗證！我們與 OpenAI Predness 合作的第 2 部分。真正的軟體工程師已確認 500 個問題中的一部分是可以解決的。在報告中查看更多內容！
[六月。 2024 年 2 月 27 日] ：在OpenAI 準備團隊的支持下，我們對SWE-bench 進行了令人興奮的更新：我們正在轉向使用Docker 的完全容器化評估工具，以實現更具可重複性的評估！請閱讀我們的報告以了解更多資訊。
[四月。 2024 年 1 月 15 日] ：SWE-bench 進行了重大改進，以解決評估工具的問題。請閱讀我們的報告以了解更多資訊。
[四月。 2, 2024] ：我們發布了 SWE-agent，它在完整的 SWE-bench 測試集上設定了最先進的技術！（推文？）
[一月。 2024 年 12 月 16 日] ：SWE-bench 已被 ICLR 2024 接受為口頭報告！（開放評論？）

概述

SWE-bench 是用於評估從 GitHub 收集的現實世界軟體問題的大型語言模型的基準。給定程式碼庫和問題，語言模型的任務是產生解決所描述問題的補丁。

要存取 SWE-bench，請複製並執行以下程式碼：

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

設定

SWE-bench 使用 Docker 進行可重複的評估。按照 Docker 設定指南中的說明在您的電腦上安裝 Docker。如果您在 Linux 上進行設置，我們建議您也查看安裝後步驟。

最後，要從原始程式碼建立 SWE-bench，請按照以下步驟操作：

git clone [email protected]:princeton-nlp/SWE-bench.git
cd SWE-bench
pip install -e .

透過執行以下命令來測試您的安裝：

python -m swebench.harness.run_evaluation 
    --predictions_path gold 
    --max_workers 1 
    --instance_ids sympy__sympy-20590 
    --run_id validate-gold

？用法

警告

在 SWE-bench 上執行快速評估可能會佔用x86_64資源。您可能需要嘗試使用--max_workers參數來找到適合您的電腦的最佳工作執行緒數，但我們建議使用少於min(0.75 * os.cpu_count(), 24) 。

如果使用 docker 桌面運行，請確保增加虛擬磁碟空間以擁有約 120 GB 可用空間，並將 max_workers 設定為與上述 docker 可用 CPU 一致。

對arm64機器的支援是實驗性的。

使用評估工具透過以下指令評估 SWE-bench Lite 上的模型預測：

python -m swebench.harness.run_evaluation 
    --dataset_name princeton-nlp/SWE-bench_Lite 
    --predictions_path < path_to_predictions > 
    --max_workers < num_workers > 
    --run_id < run_id >
    # use --predictions_path 'gold' to verify the gold patches
    # use --run_id to name the evaluation run

此命令將在目前目錄中產生 docker 建置日誌 ( logs/build_images ) 和評估日誌 ( logs/run_evaluation )。

最終的評估結果將儲存在evaluation_results目錄中。

若要查看評估工具的完整參數列表，請執行：

python -m swebench.harness.run_evaluation --help

此外，SWE-Bench 儲存庫可以幫助您：

在我們預處理的資料集上訓練您自己的模型
對現有模型（您在磁碟上擁有的模型（如 LLaMA）或您可以透過 API（如 GPT-4）存取的模型）執行推理。推理步驟是您獲取存儲庫和問題並讓模型嘗試為其生成修復程序的地方。
在您自己的儲存庫上執行 SWE-bench 的資料收集程序，以建立新的 SWE-Bench 任務。

下載

數據集	型號
？ SWE-長凳	？ SWE-駱駝 13b
？ “神諭”檢索	？ SWE-Llama 13b (PEFT)
？ BM25檢索13K	？ SWE-駱駝 7b
？ BM25檢索27K	？ SWE-Llama 7b (PEFT)
？ BM25檢索40K
？ BM25 檢索 50K（Llama 代幣）

？教學

我們也撰寫了以下有關如何使用 SWE-bench 不同部分的部落格文章。如果您想查看有關特定主題的帖子，請透過問題告訴我們。

[2023 年 11 月 1 日] 收集 SWE-Bench 評估任務（？）
[2023 年 11 月 6 日] 在 SWE-bench 上進行評估（？）

？貢獻

我們很樂意聽到更廣泛的 NLP、機器學習和軟體工程研究社群的意見，並且我們歡迎任何貢獻、拉取請求或問題！為此，請提交新的拉取請求或問題並相應地填寫相應的範本。我們一定會盡快跟進！

聯絡人：Carlos E. Jimenez 和 John Yang（電子郵件：[email protected]、[email protected]）。

✍️引用

如果您發現我們的工作有幫助，請使用以下引文。

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}