DO banco SWE

Outro código-fonte

Baixar

Kawi, o SWE-Lhama

Código e dados para nosso artigo SWE-bench do ICLR 2024: Os modelos de linguagem podem resolver problemas do GitHub do mundo real?

Consulte nosso site para obter a tabela de classificação pública e o registro de alterações para obter informações sobre as atualizações mais recentes do benchmark SWE-bench.

? Notícias

[Abr. 15, 2024] : O banco SWE passou por grandes melhorias para resolver problemas com o equipamento de avaliação. Leia mais em nosso relatório.
[Abr. 2, 2024] : Lançamos o SWE-agent, que define o que há de mais moderno no conjunto completo de testes do SWE-bench! (Tuíte?)
[Jan. 16, 2024] : SWE-bench foi aceito no ICLR 2024 como uma apresentação oral! (Revisão aberta?)

Visão geral

SWE-bench é uma referência para avaliar grandes modelos de linguagem em problemas de software do mundo real coletados do GitHub. Dada uma base de código e um problema , um modelo de linguagem tem a tarefa de gerar um patch que resolva o problema descrito.

Para acessar o SWE-bench, copie e execute o seguinte código:

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

Configurar

Para construir o SWE-bench a partir do código-fonte, siga estas etapas:

Clone este repositório localmente
cd no repositório.
Execute conda env create -f environment.yml para criar um ambiente conda chamado swe-bench
Ative o ambiente com conda activate swe-bench

? Uso

Você pode baixar o conjunto de dados do SWE-bench diretamente (dev, conjuntos de testes) ou do HuggingFace.

Para usar o SWE-Bench, você pode:

Treine seus próprios modelos em nossos conjuntos de dados pré-processados
Execute inferência em modelos existentes (modelos que você tem em disco, como LLaMA, ou modelos aos quais você tem acesso por meio de uma API, como GPT-4). A etapa de inferência é onde você obtém um repositório e um problema e faz com que o modelo tente gerar uma correção para ele.
Avalie os modelos em relação ao banco SWE. É aqui que você pega uma tarefa SWE-Bench e uma solução proposta por modelo e avalia sua correção.
Execute o procedimento de coleta de dados do SWE-bench em seus próprios repositórios, para realizar novas tarefas do SWE-Bench.

Transferências

Conjuntos de dados	Modelos
? Banco SWE	? SWE-Lhama 13b
? Recuperação "Oráculo"	? SWE-Llama 13b (PEFT)
? Recuperação BM25 13K	? SWE-Lhama 7b
? Recuperação BM25 27K	? SWE-Llama 7b (PEFT)
? Recuperação BM25 40K
? Recuperação BM25 50K (tokens de lhama)

? Tutoriais

Também escrevemos as seguintes postagens no blog sobre como usar diferentes partes do SWE-bench. Se você gostaria de ver uma postagem sobre um tópico específico, informe-nos por meio de um problema.

[1º de novembro de 2023] Coletando tarefas de avaliação para SWE-Bench (?)
[6 de novembro de 2023] Avaliando no banco SWE (?)

? Contribuições

Adoraríamos ouvir as comunidades mais amplas de pesquisa em PNL, aprendizado de máquina e engenharia de software e agradecemos quaisquer contribuições, solicitações de pull ou problemas! Para fazer isso, registre uma nova solicitação pull ou problema e preencha os modelos correspondentes de acordo. Teremos acompanhamento em breve!

Pessoa de contato: Carlos E. Jimenez e John Yang (E-mail: {carlosej, jy1682}@princeton.edu).

✍️ Citação

Se você achar nosso trabalho útil, use as seguintes citações.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}