EMSE DeepCom

emse-deepcom

emse-deepcomのソースコードとデータセット

モデルトレーニング

コマンド： python3 __main__.py config.yaml --train -v

Githubから抽出されたプロジェクト

プロジェクト情報は、file projects.txtにリストされています。各行は、「_」で接続されているGitHubユーザー名とプロジェクト名を含むプロジェクトを表します。

プロジェクトにおけるJavaメソッドとクラスの分布

データプロセス

JavaメソッドのASTを生成します

コマンド： python3 get_ast.py source.code ast.json source.code：ソースコードファイルと各行は1つのJavaメソッドを表します。 AST.JSON：JavaメソッドのASTファイルと各行は1つのASTを表します。

例えば：

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

データセットと出力

LFSの制限として、データセットはGoogleドライブからダウンロードできます

メトリックを評価します

評価スクリプトは、ファイルスクリプトにリストされています。

NLTKによる文レベルの評価：

コマンド： python3 evaluation.py reference predictions

Multi-Blu.Perlによるコーパスレベルの評価：

コマンド： perl multi-bleu.perl reference < predictions

流星1.5による流星評価：

コマンド： java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

参照：グラウンドトゥルースファイル（データセットのtest.token.nlファイル）。予測：生成されたコメントファイル。各行は1つのサンプルを表します。