EMSE DeepCom

Emse-Depcom

El código fuente y el conjunto de datos para Emse-Deepcom

Entrenamiento modelo

Comando: python3 __main__.py config.yaml --train -v

Proyectos extraídos de GitHub

La información del proyecto se enumera en el archivo Projects.txt. Cada línea representa un proyecto que incluye el nombre de usuario de GitHub y el nombre del proyecto conectado por "_"

La distribución de los métodos y clases de Java en proyectos

Proceso de datos

Genere ASTS para los métodos Java

Comando: python3 get_ast.py source.code ast.json Source.code: el archivo del código fuente y cada línea representa un método Java. AST.JSON: el archivo AST para el método Java y cada línea representa un AST:

Por ejemplo:

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

Conjunto de datos y salidas

Como la limitación de LFS, el conjunto de datos se puede descargar desde Google Drive

Evaluar métricas

Los scripts de evaluación se enumeran en los scripts de archivo.

La evaluación de nivel de oración por NLTK:

Comando: python3 evaluation.py reference predictions

La evaluación de nivel de corpus por multi-bleu.perl:

Comando: perl multi-bleu.perl reference < predictions

La evaluación del meteorito por Meteor 1.5:

Comando: java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

Referencia: El archivo de verdad terrestre (el archivo test.token.nl en nuestro conjunto de datos). Predicciones: el archivo de comentarios generados. Cada línea representa una muestra.