？消息

[四月。 2024 年 1 月 15 日] ：SWE-bench 进行了重大改进，以解决评估工具的问题。请阅读我们的报告了解更多信息。
[四月。 2, 2024] ：我们发布了 SWE-agent，它在完整的 SWE-bench 测试集上设置了最先进的技术！（推文？）
[一月。 2024 年 12 月 16 日] ：SWE-bench 已被 ICLR 2024 接受为口头报告！（开放评论？）

概述

SWE-bench 是评估从 GitHub 收集的现实世界软件问题的大型语言模型的基准。给定代码库和问题，语言模型的任务是生成解决所描述问题的补丁。

要访问 SWE-bench，请复制并运行以下代码：

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

设置

要从源代码构建 SWE-bench，请按照下列步骤操作：

在本地克隆此存储库
cd到存储库中。
运行conda env create -f environment.yml以创建名为swe-bench conda 环境
使用conda activate swe-bench激活环境

？用法

您可以直接下载 SWE-bench 数据集（开发、测试集）或从 HuggingFace 下载。

要使用 SWE-Bench，您可以：

在我们预处理的数据集上训练您自己的模型
对现有模型（例如 LLaMA 等磁盘上的模型，或者可以通过 GPT-4 等 API 访问的模型）运行推理。推理步骤是您获取存储库和问题并让模型尝试为其生成修复程序的地方。
根据 SWE-bench 评估模型。您可以在此处执行 SWE-Bench 任务和模型提出的解决方案并评估其正确性。
在您自己的存储库上运行 SWE-bench 的数据收集程序，以创建新的 SWE-Bench 任务。

下载

数据集	型号
？ SWE-长凳	？ SWE-骆驼 13b
？ “神谕”检索	？ SWE-Llama 13b (PEFT)
？ BM25检索13K	？ SWE-骆驼 7b
？ BM25检索27K	？ SWE-Llama 7b (PEFT)
？ BM25检索40K
？ BM25 检索 50K（Llama 代币）

？教程

我们还撰写了以下有关如何使用 SWE-bench 不同部分的博客文章。如果您想查看有关特定主题的帖子，请通过问题告诉我们。

[2023 年 11 月 1 日] 收集 SWE-Bench 评估任务（？）
[2023 年 11 月 6 日] 在 SWE-bench 上进行评估（？）

？贡献

我们很乐意听到更广泛的 NLP、机器学习和软件工程研究社区的意见，并且我们欢迎任何贡献、拉取请求或问题！为此，请提交新的拉取请求或问题并相应地填写相应的模板。我们一定会尽快跟进！

联系人：Carlos E. Jimenez 和 John Yang（电子邮件：{carlosej, jy1682}@princeton.edu）。

✍️引用

如果您发现我们的工作有帮助，请使用以下引文。

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}