lark

Lark - Python 用の解析ツールキット

Lark は、人間工学、パフォーマンス、モジュール性に重点を置いて構築された Python 用の解析ツールキットです。

Lark はすべてのコンテキストフリー言語を解析できます。簡単に言うと、世の中のほぼすべてのプログラミング言語を解析でき、ほとんどの自然言語もある程度解析できることを意味します。

誰のためのものですか？

• 初心者: Lark は実験にとてもフレンドリーです。どんなに複雑で曖昧でも、投げかけられたあらゆる文法を解析し、効率的に解析します。また、文法と入力のみを使用して、注釈付きの解析木を構築し、その解析木を処理するための便利で柔軟なツールを提供します。

• 専門家: Lark は Earley(SPPF) と LALR(1) の両方、およびいくつかの異なるレクサーを実装しているため、要件に応じてパワーと速度をトレードオフできます。また、さまざまな高度な機能やユーティリティも提供します。

何ができるのでしょうか？

• すべての文脈自由文法を解析し、曖昧さを適切に処理します。
• 注釈付きの解析ツリーを自動的に構築します。構築コードは必要ありません。
• Big-O の複雑さと実行時間の測定の両方の点で最高のパフォーマンスを提供します (これが Python であることを考慮してください;)
• すべての Python インタープリターで実行します (純粋な Python です)。
• スタンドアロン パーサーの生成 (LALR(1) 文法用)

さらに多くの機能があります。先を読んで見つけてください！

最も重要なのは、Lark を使用すると時間を節約し、解析で頭痛がするのを防ぐことができます。

クイックリンク

• ドキュメント @readthedocs
• チートシート (PDF)
• オンラインIDE
• JSON パーサーを作成するためのチュートリアル。
• ブログ投稿: Lark を使用して DSL を作成する方法
• ギッターチャット

Larkをインストールする

 $ pip install lark --upgrade

Lark には依存関係はありません。

構文の強調表示

Lark は、文法ファイル (*.lark) の構文強調表示を提供します。

• Sublime Text と TextMate
• vscode
• Intellij と PyCharm
• ヴィム
• 原子

クローン

これらは他の言語での Lark の実装です。これらは Lark 文法を受け入れ、同様のユーティリティを提供します。

• Lerche (Julia) - 完全に Julia で書かれた非公式クローン。
• Lark.js (Javascript) - スタンドアロン LALR(1) パーサー ジェネレーターの Javascsript へのポート。

こんにちは世界

これは「Hello, World!」を解析する小さなプログラムです。 (または他の同様のフレーズ):

 from lark import Lark

l = Lark ( '''start: WORD "," WORD "!"

            %import common.WORD   // imports from terminal library
            %ignore " "           // Disregard spaces in text
         ''' )

print ( l . parse ( "Hello, World!" ) )

そして出力は次のようになります。

 Tree ( start , [ Token ( WORD , 'Hello' ), Token ( WORD , 'World' )])

結果のツリーには句読点が表示されないことに注意してください。 Lark によって自動的にフィルタリングされます。

バナナのようなショウジョウバエ

Lark は曖昧さの処理に優れています。 「果物はバナナのように飛ぶ」というフレーズを解析した結果は次のとおりです。

ここでコードを読み、ここでその他の例を参照してください。

主な機能一覧

• 文法の構造に基づいて、解析ツリー (AST) を自動的に構築します。
• アーリーパーサー
  • すべての文脈自由文法を解析できる
  • あいまいな文法を完全にサポート
• LALR(1)パーサー
  • 高速かつ軽量で、PLY と競合可能
  • スタンドアロンのパーサーを生成できます (詳細を読む)
• EBNF文法
• Unicode を完全にサポート
• 行と列の自動追跡
• 高度な解析フローとデバッグのための対話型パーサー
• 文法構成 - 他の文法から端子とルールをインポートする
• 端末の標準ライブラリ (文字列、数値、名前など)
• Nearley.js から文法をインポート (詳細を読む)
• 広範なテストスイート
• 型アノテーション (MyPy サポート)
• さらにもっと！

機能の完全なリストはこちらからご覧ください

他のライブラリとの比較

性能比較

Lark は速くて軽い (低いほど良い)

比較がどのように行われたかについて詳しくは、JSON チュートリアルをご覧ください。

サードパーティの詳細なベンチマークについては、Python Parsing Benchmarks リポジトリをチェックしてください。

機能の比較

図書館	アルゴリズム	文法	ツリーを構築しますか?	曖昧さをサポートしますか?	すべての CFG を処理できますか?	行/列の追跡	スタンドアロンで生成
ヒバリ	アーリー/LALR(1)	EBNF	はい！	はい！	はい！	はい！	はい！ (LALRのみ)
プライ	LALR(1)	BNF	いいえ	いいえ	いいえ	いいえ	いいえ
PyParsing	ペグ	コンビネータ	いいえ	いいえ	いいえ*	いいえ	いいえ
パセリ	ペグ	EBNF	いいえ	いいえ	いいえ*	いいえ	いいえ
倹約的	ペグ	EBNF	はい	いいえ	いいえ*	いいえ	いいえ
アントラー	LL(*)	EBNF	はい	いいえ	はい？	はい	いいえ

(* PEG は非決定論的な文法を処理できません。また、Wikipedia によると、PEG が実際にすべての決定論的な CFG を解析できるかどうかは未解決のままです。)

Larkを使用したプロジェクト

• Poetry - 依存関係の管理とパッケージ化のためのユーティリティ
• Vyper - EVM 用の Python スマート コントラクト言語
• PyQuil - Quil を使用した量子プログラミング用の Python ライブラリ
• Preql - SQL にコンパイルされる、解釈されたリレーショナル クエリ言語
• 仮説 - プロパティベースのテスト用ライブラリ
• mappyfile - MapServer 構成を操作するための MapFile パーサー
• タルティフレット - DailymotionによるGraphQLサーバー
• Synapse - インテリジェンス分析プラットフォーム
• Datacube-core - オープン データ キューブは、大陸規模の地球観測データを経時的に分析します。
• SPFlow - Sum-Product ネットワーク用ライブラリ
• Torchani - PyTorch 上の正確なニューラル ネットワークの可能性
• Command-Block-Assembly - Minecraft コマンド用のアセンブリ言語および C コンパイラ
• EQL - イベントクエリ言語
• Fabric-SDK-Py - Python 3.x を使用したハイパーレジャー ファブリック SDK
• 必須 - docstring を使用した複数フィールドの検証
• miniwdl - ワークフロー記述言語用の静的分析ツールキット
• pytreeview - 軽量のツリーベースの文法エクスプローラー
• harmalies - ハーモニック分析と音楽理論のための言語
• gersemi - CMake コードフォーマッタ
• MistQL - JSON のような構造のためのクエリ言語
• アウトライン - 大規模言語モデルによる構造化生成

完全なリスト

ライセンス

Lark は MIT ライセンスを使用します。

(スタンドアロン ツールは MPL2 の下にあります)

貢献者

Lark はプルリクエストを受け付けます。 Lark の開発方法を参照してください。

これまでに貢献してくださった皆様に多大な感謝を申し上げます:

スポンサー

Lark が好きで、私たちの成長を見たい方は、スポンサーになることをご検討ください。

著者に連絡する

コードに関する質問は、gitter または Issue で行うのが最適です。

その他のことについては、erezshin at gmail com までメールでお問い合わせください。

-- エレス