DEL banco SWE

Otro código fuente

Descargar

Kawi la llama SWE

Código y datos para nuestro artículo ICLR 2024 SWE-bench: ¿Pueden los modelos de lenguaje resolver problemas de GitHub del mundo real?

Consulte nuestro sitio web para ver la tabla de clasificación pública y el registro de cambios para obtener información sobre las últimas actualizaciones del punto de referencia SWE-bench.

? Noticias

[Abr. 15, 2024] : SWE-bench ha realizado importantes mejoras para resolver problemas con el arnés de evaluación. Lea más en nuestro informe.
[Abr. 2, 2024] : ¡Hemos lanzado el agente SWE, que establece lo último en el conjunto de pruebas completo del banco SWE! (¿Tuiteo?)
[Ene. 16, 2024] : ¡SWE-bench ha sido aceptado en ICLR 2024 como presentación oral! (¿Abrir revisión?)

Descripción general

SWE-bench es un punto de referencia para evaluar modelos de lenguaje grandes sobre problemas de software del mundo real recopilados de GitHub. Dada una base de código y un problema , un modelo de lenguaje tiene la tarea de generar un parche que resuelva el problema descrito.

Para acceder a SWE-bench, copie y ejecute el siguiente código:

 from datasets import load_dataset
swebench = load_dataset ( 'princeton-nlp/SWE-bench' , split = 'test' )

Configuración

Para construir SWE-bench desde el código fuente, siga estos pasos:

Clonar este repositorio localmente
cd en el repositorio.
Ejecute conda env create -f environment.yml para crear un entorno Conda llamado swe-bench
Activa el entorno con conda activate swe-bench

? Uso

Puede descargar el conjunto de datos de SWE-bench directamente (desarrollador, conjuntos de prueba) o desde HuggingFace.

Para utilizar SWE-Bench, puede:

Entrene sus propios modelos en nuestros conjuntos de datos preprocesados
Ejecute inferencias en modelos existentes (ya sean modelos que tenga en el disco como LLaMA o modelos a los que tenga acceso a través de una API como GPT-4). El paso de inferencia es donde se obtiene un repositorio y un problema y el modelo intenta generar una solución para ello.
Evaluar modelos contra SWE-bench. Aquí es donde se toma una tarea de SWE-Bench y una solución propuesta por un modelo y se evalúa su exactitud.
Ejecute el procedimiento de recopilación de datos de SWE-bench en sus propios repositorios para realizar nuevas tareas de SWE-Bench.

Descargas

Conjuntos de datos	Modelos
? banco SWE	? SWE-Llama 13b
? Recuperación del "Oráculo"	? SWE-Llama 13b (PEFT)
? Recuperación BM25 13K	? SWE-Llama 7b
? Recuperación BM25 27K	? SWE-Llama 7b (PEFT)
? Recuperación BM25 40K
? BM25 Recuperación 50K (tokens Llama)

? Tutoriales

También escribimos las siguientes publicaciones de blog sobre cómo utilizar diferentes partes de SWE-bench. Si desea ver una publicación sobre un tema en particular, háganoslo saber a través de un problema.

[1 de noviembre de 2023] Recopilación de tareas de evaluación para SWE-Bench (?)
[6 de noviembre de 2023] Evaluación en SWE-bench (?)

? Contribuciones

Nos encantaría escuchar a las comunidades de investigación más amplias de PNL, aprendizaje automático e ingeniería de software, y agradecemos cualquier contribución, solicitud de extracción o problema. Para hacerlo, presente una nueva solicitud de extracción o problema y complete las plantillas correspondientes en consecuencia. ¡Nos aseguraremos de hacer un seguimiento en breve!

Persona de contacto: Carlos E. Jiménez y John Yang (correo electrónico: {carlosej, jy1682}@princeton.edu).

✍️ Cita

Si encuentra útil nuestro trabajo, utilice las siguientes citas.

 @inproceedings{
    jimenez2024swebench,
    title={{SWE}-bench: Can Language Models Resolve Real-world Github Issues?},
    author={Carlos E Jimenez and John Yang and Alexander Wettig and Shunyu Yao and Kexin Pei and Ofir Press and Karthik R Narasimhan},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=VTF8yNQM66}
}