EMSE DeepCom

Emse-deepcom

Исходный код и набор данных для emse-deepcom

Обучение модели

Команда: python3 __main__.py config.yaml --train -v

Проекты, извлеченные из GitHub

Информация о проекте перечислена в файловом projects.txt. Каждая строка представляет проект, который включает в себя имя пользователя GitHub и название проекта, соединенное «_»

Распределение методов и классов Java в проектах

Процесс данных

Генерировать AST для методов Java

Команда: python3 get_ast.py source.code ast.json source.code: файл исходного кода и каждая строка представляет один метод Java. AST.JSON: файл AST для метода Java, и каждая строка представляет одну AST:

Например:

 public boolean doesNotHaveIds (){ 
  return getIds () == null || getIds (). getIds (). isEmpty (); 
}

 [
{"id": 0, "type": "MethodDeclaration", "children": [1, 2], "value": "doesNotHaveIds"}, 
    {"id": 1, "type": "BasicType", "value": "boolean"}, 
    {"id": 2, "type": "ReturnStatement", "children": [3], "value": "return"}, 
        {"id": 3, "type": "BinaryOperation", "children": [4, 7]}, 
            {"id": 4, "type": "BinaryOperation", "children": [5, 6]}, 
                {"id": 5, "type": "MethodInvocation", "value": "getIds"}, 
                {"id": 6, "type": "Literal", "value": "null"}, 
            {"id": 7, "type": "MethodInvocation", "children": [8, 9], "value": "getIds"}, 
                {"id": 8, "type": "MethodInvocation", "value": "."}, 
                {"id": 9, "type": "MethodInvocation", "value": "."}
 ]

Набор данных и выходы

Как ограничение LFS, набор данных можно загрузить с Google Drive

Оценить метрики

Сценарии оценки перечислены в сценариях файлов.

Оценка на уровне предложения NLTK:

Команда: python3 evaluation.py reference predictions

Оценка на уровне корпуса с помощью Multi-Bleu.perl:

Команда: perl multi-bleu.perl reference < predictions

Метеорная оценка по метеору 1.5:

Команда: java -Xmx2G -jar meteor-1.5.jar predictions reference -l en -norm

Ссылка: файл с землей-правкой (файл test.token.nl в нашем наборе данных). Прогнозы: сгенерированный файл комментариев. Каждая строка представляет один образец.