EMSE DeepCom

Emse-hepcom

Le code source et l'ensemble de données pour Emse-Deepcom

Formation modèle

Commande: python3 __main__.py config.yaml --train -v

Projets extraits de github

Les informations du projet sont répertoriées dans le fichier project.txt. Chaque ligne représente un projet qui comprend le nom d'utilisateur GitHub et le nom du projet connecté par "_"

La distribution des méthodes et classes Java dans les projets

Processus de données

Générer des AST pour les méthodes Java

Commande: python3 get_ast.py source.code ast.json source.code: le fichier de code source et chaque ligne représente une méthode java. AST.JSON: Le fichier AST pour la méthode Java et chaque ligne représente un AST:

Par exemple:

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

Ensemble de données et sorties

En tant que limitation de LFS, l'ensemble de données peut être téléchargé à partir de Google Drive

Évaluer les mesures

Les scripts d'évaluation sont répertoriés dans les scripts de fichiers.

L'évaluation au niveau de la phrase par NLTK:

Commande: python3 evaluation.py reference predictions

L'évaluation au niveau du corpus par Multi-Bleu.perl:

Commande: perl multi-bleu.perl reference < predictions

L'évaluation des météores par Meteor 1.5:

Commande: java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

Référence: le fichier de truth au sol (le fichier test.token.nl dans notre ensemble de données). Prédictions: le fichier de commentaires générés. Chaque ligne représente un échantillon.