EMSE DeepCom

Emse-Deepcom

O código-fonte e o conjunto de dados para Emse-DeepCom

Treinamento modelo

Comando: python3 __main__.py config.yaml --train -v

Projetos extraídos do GitHub

As informações do projeto estão listadas no arquivo projetos.txt. Cada linha representa um projeto que inclui o nome de usuário do github e o nome do projeto conectado por "_"

A distribuição dos métodos e classes Java em projetos

Processo de dados

Gerar ASTs para métodos Java

Comando: python3 get_ast.py source.code ast.json fonte.code: o arquivo de código -fonte e cada linha representa um método java. AST.JSON: O arquivo AST para o método Java e cada linha representa um AST:

Por exemplo:

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

Conjunto de dados e saídas

Como a limitação do LFS, o conjunto de dados pode ser baixado do Google Drive

Avalie métricas

Os scripts de avaliação estão listados nos scripts de arquivo.

A avaliação no nível da sentença por NLTK:

Comando: python3 evaluation.py reference predictions

A avaliação no nível do corpus por Multi-BLEU.PERL:

Comando: perl multi-bleu.perl reference < predictions

A avaliação de meteoros por Meteor 1.5:

Comando: java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

Referência: o arquivo de truta fundamental (o arquivo test.token.nl em nosso conjunto de dados). Previsões: o arquivo de comentários gerados. Cada linha representa uma amostra.