EMSE DeepCom

EMSE-Deepcom

Der Quellcode und der Datensatz für EMSE-Deepcom

Modelltraining

Befehl: python3 __main__.py config.yaml --train -v

Projekte, die aus Github extrahiert wurden

Die Projektinformationen sind im Dateiprojekt.txt aufgeführt. Jede Zeile repräsentiert ein Projekt, das den Github -Benutzernamen und den Projektnamen enthält, der durch "_" verbunden ist

Die Verteilung der Java -Methoden und -klassen in Projekten

Datenprozess

Generieren Sie ASTS für Java -Methoden

Befehl: python3 get_ast.py source.code ast.json source.code: Die Quellcode -Datei und jede Zeile repräsentiert eine Java -Methode. AST.JSON: Die AST -Datei für Java -Methode und jede Zeile repräsentiert einen AST:

Zum Beispiel:

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

Datensatz und Ausgaben

Als Einschränkung von LFS kann der Datensatz von Google Drive heruntergeladen werden

Metriken bewerten

Die Bewertungsskripte sind in den Dateiskripten aufgeführt.

Die Bewertung der Satzebene durch NLTK:

Befehl: python3 evaluation.py reference predictions

Die Bewertung der Korpusebene durch Multi-BleU.Perl:

Befehl: perl multi-bleu.perl reference < predictions

Die Meteor -Bewertung durch Meteor 1.5:

Befehl: java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

Referenz: Die Bodenwahrheitsdatei (die Datei test.token.nl in unserem Datensatz). Vorhersagen: Die generierte Kommentaredatei. Jede Zeile repräsentiert eine Probe.