antlr astダウンロード - antlr astソースコードのダウンロード

antlr ast

その他のソースコード

v0.8.1

ダウンロード

antlr-ast

このパッケージを使用すると、ANTLR 文法を使用し、パーサー出力を使用して抽象構文ツリー (AST) を生成できます。

インストール

pip install antlr-ast

注:このパッケージは Python2 と互換性がありません。

テストの実行

 # may need:
# pip install pytest
py.test

使用法

antlr-astの使用には、次の 4 つの手順が必要です。

ANTLR を使用して文法を定義し、この文法を解析するために必要な Python ファイルを生成する
parse使用して、生成された文法ファイルに基づいて ANTLR ランタイム出力を取得する
前のステップの出力でprocess_tree使用する
1. BaseAstVisitor (サブクラスを提供することでカスタマイズ可能) は、ANTLR 出力を、ANTLR 文法のルールに基づいて動的に作成されるBaseNodeの直列化可能なツリーに変換します。
2. BaseNodeTransformerサブクラスを使用して、各種類のノードを変換できます。
3. 単純化オプションを使用すると、子孫が 1 つだけあるノードをスキップしてツリー内のパスを短縮できます。
結果のツリーを使用する

次のセクションでは、これらの手順について詳しく説明します。

これらの解析ツリーの作成と変換のプロセスを視覚化するには、この ast-viewer を使用できます。

ANTLR の使用

注: このチュートリアルのこの部分では、コードを解析する方法を知る必要があります。
ANTLR をインストールしたことがない場合は、ANTLR スタートガイドを参照してください。
ANTLR Mega チュートリアルには、役立つ Python の例が含まれています。

このページでは、ANTLR パーサールールの記述方法を説明します。
以下のルール定義は、重要な ANTLR パーサー文法要素にわかりやすい名前を付けた例です。

 rule_name : rule_element? rule_element_label= ' literal '    #RuleAlternativeLabel
         | TOKEN +                                        #RuleAlternativeLabel
         ;

ルール要素と代替ラベルはオプションです。
+ 、 * ? 、 |および()正規表現と同じ意味を持ちます。

以下では、簡単な文法を使用してantlr-astどのように機能するかを説明します。この文法は/tests/Expr.g4にあります。

 grammar Expr;

// parser

expr :   left=expr op=( ' + ' | ' - ' ) right=expr       #BinaryExpr
    |   NOT expr                                #NotExpr
    |   INT                                     #Integer
    |   ' ( ' expr ' ) '                            #SubExpr
    ;

// lexer

INT :   [0-9]+ ;         // match integers
NOT :   ' not ' ;

WS  :   [ t]+ -> skip ; // toss out whitespace

ANTLR は上記の文法を使用して、さまざまな言語でパーサーを生成できます。 Python パーサーを生成するには、次のコマンドを使用できます。

antlr4 -Dlanguage=Python3 -visitor /tests/Expr.g4

これにより、レクサー ( ExprLexer.py )、パーサー ( ExprParser.py )、およびビジター ( ExprVisitor.py ) を含む多数のファイルが/tests/ディレクトリに生成されます。

これらを Python で直接使用およびインポートできます。たとえば、このリポジトリのルートから:

from tests import ExprVisitor

生成されたファイルを簡単に使用できるように、それらはantlr_pyパッケージに入れられます。 __init__.pyファイルは、文法名を含まないエイリアスで生成されたファイルをエクスポートします。

ベースノード

BaseNodeサブクラスには、対応する文法規則内のすべてのルール要素のフィールドとすべてのルール要素ラベルのラベルがあります。フィールドとラベルは両方とも、 BaseNodeインスタンスのプロパティとして使用できます。名前が衝突する場合は、ラベルがフィールドより優先されます。

BaseNodeの名前は、対応する ANTLR 文法規則の名前ですが、大文字で始まります。ルール代替ラベルが ANTLR ルールに指定されている場合、これらはルール名の代わりに使用されます。

ノードの変換

通常、ANTLR ルールと言語の概念の間に 1 対 1 のマッピングはありません。ルール階層はさらに入れ子になっています。変換を使用すると、ANTLR ルールに基づいて BaseNode の初期ツリーを AST に近づけることができます。

トランス

BaseNodeTransformer 、ルートノードからリーフノードまでツリー上を移動します。ノードにアクセスすると、ノードを変換することができます。ツリー上のウォークを続行する前に、変換されたノードでツリーが更新されます。

ノード変換を定義するには、 process_treeに渡されるBaseNodeTransformerサブクラスに静的メソッドを追加します。

定義する必要があるメソッドの名前は、 visit_<BaseNode>というパターンに従います。 <BaseNode>は、変換するBaseNodeサブクラスの名前に置き換える必要があります。
このメソッドは、変換されたノードを返す必要があります。

これは簡単な例です。

 class Transformer ( BaseNodeTransformer ):
    @ staticmethod
    def visit_My_antlr_rule ( node ):
        return node . name_of_part

カスタムノード

カスタムノードは、AST 内に存在するノードのタイプである、解析された言語の一部を表すことができます。

カスタムノードを簡単に返すために、 AliasNodeサブクラスを定義できます。通常、 AliasNodeのフィールドは、 BaseNodeのツリー内を移動するためのシンボリックリンクのようなものです。

カスタムノードのインスタンスはBaseNodeから作成されます。ソースBaseNodeのフィールドとラベルはAliasNodeでも使用できます。 AliasNodeフィールド名がこれらと衝突する場合、そのプロパティにアクセスするときに優先されます。

カスタムノードは次のようになります。

 class NotExpr ( AliasNode ):
    _fields_spec = [ "expr" , "op=NOT" ]

このコードは、 exprフィールドとopフィールドを持つカスタムノードNotExpr定義します。

フィールドスペック

_fields_specクラスプロパティは、カスタムノードに必要なフィールドを定義するリストです。

BaseNode (ソースノード) からカスタムノードを作成するときに、このリストのフィールド仕様がどのように使用されるかは次のとおりです。

フィールド仕様がソースノードに存在しない場合は、 Noneに設定されます。
複数のフィールド仕様が同じフィールドを定義している場合、 Noneではない最初のフィールド仕様が使用されます。
フィールド仕様が単なる名前の場合は、ソースノードからコピーされます。
フィールド仕様が割り当ての場合、左側はAliasNode上のフィールドの名前で、右側はソースノードから開始して、そのフィールドの値となるノードを取得するために取得するパスです。カスタムノード。このパスの一部はを使用して区切られます.

変圧器に接続する

このカスタムノードを使用するには、トランスフォーマーにメソッドを追加します。

 class Transformer ( BaseNodeTransformer ):
    # ...

    # here the BaseNode name is the same as the custom node name
    # but that isn't required
    @ staticmethod
    def visit_NotExpr ( node ):
        return NotExpr . from_spec ( node )

カスタムノードを使用するためにトランスフォーマークラスでメソッドを定義する代わりに、これを自動的に行うことができます。

 Transformer . bind_alias_nodes ( alias_nodes )

これを機能させるには、リスト内のAliasNodeクラスに、変換するBaseNode名のリストを含む_rulesクラスプロパティが必要です。

結果は次のとおりです。

 class NotExpr ( AliasNode ):
    _fields_spec = [ "expr" , "op=NOT" ]
    _rules = [ "NotExpr" ]

class Transformer ( BaseNodeTransformer ):
    pass

alias_nodes = [ NotExpr ]
Transformer . bind_alias_nodes ( alias_nodes )

_rules内の項目はタプルにすることもできます。この場合、タプル内の最初の項目はBaseNode名で、2 番目の項目はカスタムノードのクラスメソッドの名前です。

上の例では役に立ちませんが、これは次と同等です。

 class NotExpr ( AliasNode ):
    _fields_spec = [ "expr" , "op=NOT" ]
    _rules = [( "NotExpr" , "from_not" )]

    @ classmethod
    def from_not ( cls , node ):
        return cls . from_spec ( node )

class Transformer ( BaseNodeTransformer ):
    pass

alias_nodes = [ NotExpr ]
Transformer . bind_alias_nodes ( alias_nodes )