? 소식

[4월. 2024년 15월 15일] : SWE-bench는 평가 하네스 관련 문제를 해결하기 위해 대대적인 개선을 거쳤습니다. 보고서에서 자세한 내용을 읽어보세요.
[4월. 2024년 2월 2일] : 전체 SWE-벤치 테스트 세트에서 최첨단 기술을 설정하는 SWE-agent를 출시했습니다! (트윗?)
[1월. 2024년 16월 16일] : SWE-bench가 ICLR 2024에 구두 발표로 채택되었습니다! (오픈리뷰?)

개요

SWE-bench는 GitHub에서 수집한 실제 소프트웨어 문제에 대한 대규모 언어 모델을 평가하기 위한 벤치마크입니다. 코드베이스 와 문제가 주어지면 언어 모델은 설명된 문제를 해결하는 패치를 생성하는 임무를 맡습니다.

SWE-bench에 액세스하려면 다음 코드를 복사하여 실행하세요.

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

설정

소스에서 SWE-bench를 빌드하려면 다음 단계를 따르세요.

이 저장소를 로컬로 복제
cd 저장소에 넣습니다.
conda env create -f environment.yml 실행하여 swe-bench 라는 conda 환경을 생성합니다.
conda activate swe-bench 사용하여 환경 활성화

? 용법

SWE-bench 데이터세트를 직접(개발, 테스트 세트) 다운로드하거나 HuggingFace에서 다운로드할 수 있습니다.

SWE-Bench를 사용하려면 다음을 수행할 수 있습니다.

사전 처리된 데이터세트로 자신만의 모델을 훈련하세요.
기존 모델(LLaMA와 같이 디스크에 있는 모델 또는 GPT-4와 같은 API를 통해 액세스할 수 있는 모델)에 대해 추론을 실행합니다. 추론 단계에서는 저장소와 문제를 얻고 모델이 이에 대한 수정 사항을 생성하도록 하는 단계입니다.
SWE-벤치에 대해 모델을 평가합니다. 여기에서는 SWE-Bench 작업과 모델이 제안한 솔루션을 선택하고 그 정확성을 평가합니다.
자신의 리포지토리에서 SWE-bench의 데이터 수집 절차를 실행하여 새로운 SWE-Bench 작업을 만듭니다.

다운로드

데이터세트	모델
? SWE 벤치	? SWE-라마 13b
? "오라클" 검색	? SWE-라마 13b(PEFT)
? BM25 검색 13K	? SWE-라마 7b
? BM25 검색 27K	? SWE-라마 7b(PEFT)
? BM25 검색 40K
? BM25 검색 50K(라마 토큰)

? 튜토리얼

또한 SWE-bench의 다양한 부분을 사용하는 방법에 대한 다음 블로그 게시물도 작성했습니다. 특정 주제에 대한 게시물을 보고 싶다면 이슈를 통해 알려주시기 바랍니다.

[2023.11.1] SWE-Bench 평가과제 수집(?)
[2023.11.06] SWE 벤치에서 평가(?)

? 기여

우리는 더 넓은 NLP, 기계 학습 및 소프트웨어 엔지니어링 연구 커뮤니티의 의견을 듣고 싶습니다. 기여, 끌어오기 요청 또는 문제를 환영합니다! 그렇게 하려면 새로운 끌어오기 요청을 제출하거나 이에 따라 해당 템플릿을 발행하고 작성하십시오. 곧 후속 조치를 취하도록 하겠습니다!

담당자: Carlos E. Jimenez 및 John Yang(이메일: {carlosej, jy1682}@princeton.edu)

✍️ 인용

우리의 작업이 도움이 되었다고 생각하시면 다음 인용문을 활용해 주십시오.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}