lark

Lark - um kit de ferramentas de análise para Python

Lark é um kit de ferramentas de análise para Python, desenvolvido com foco em ergonomia, desempenho e modularidade.

O Lark pode analisar todas as linguagens livres de contexto. Simplificando, significa que ele é capaz de analisar quase todas as linguagens de programação existentes e, até certo ponto, a maioria das linguagens naturais também.

Para quem é?

• Iniciantes : Lark é muito amigável para experimentação. Ele pode analisar qualquer gramática que você usar, não importa quão complicada ou ambígua, e fazê-lo com eficiência. Ele também constrói uma árvore de análise anotada para você, usando apenas a gramática e uma entrada, e fornece ferramentas convenientes e flexíveis para processar essa árvore de análise.

• Especialistas : O Lark implementa Earley(SPPF) e LALR(1) e vários lexers diferentes, para que você possa equilibrar potência e velocidade, de acordo com suas necessidades. Ele também oferece uma variedade de recursos e utilitários sofisticados.

O que isso pode fazer?

• Analise todas as gramáticas livres de contexto e lide com qualquer ambiguidade com elegância
• Construa uma árvore de análise anotada automaticamente, sem necessidade de código de construção.
• Fornece desempenho de primeira linha em termos de complexidade Big-O e tempo de execução medido (considerando que se trata de Python;)
• Execute em todos os interpretadores Python (é python puro)
• Gere um analisador independente (para gramáticas LALR(1))

E muitos mais recursos. Leia mais adiante e descubra!

Mais importante ainda, o Lark economizará seu tempo e evitará que você tenha dores de cabeça ao analisar.

Links rápidos

• Documentação @readthedocs
• Folha de dicas (PDF)
• IDE on-line
• Tutorial para escrever um analisador JSON.
• Postagem no blog: Como escrever uma DSL com o Lark
• Bate-papo do Gitter

Instale o Lark

 $ pip install lark --upgrade

Lark não tem dependências.

Destaque de sintaxe

O Lark fornece destaque de sintaxe para seus arquivos gramaticais (*.lark):

• Texto sublime e TextMate
• vscode
• Intellij e PyCharm
• Vim
• Átomo

Clones

Estas são implementações do Lark em outras linguagens. Eles aceitam gramáticas do Lark e fornecem utilitários semelhantes.

• Lerche (Julia) - um clone não oficial, escrito inteiramente em Julia.
• Lark.js (Javascript) - uma porta do gerador de analisador LALR(1) independente para Javascsript.

Olá mundo

Aqui está um pequeno programa para analisar "Hello, World!" (Ou qualquer outra frase semelhante):

 from lark import Lark

l = Lark ( '''start: WORD "," WORD "!"

            %import common.WORD   // imports from terminal library
            %ignore " "           // Disregard spaces in text
         ''' )

print ( l . parse ( "Hello, World!" ) )

E a saída é:

 Tree ( start , [ Token ( WORD , 'Hello' ), Token ( WORD , 'World' )])

Observe que a pontuação não aparece na árvore resultante. Ele é automaticamente filtrado pelo Lark.

Moscas de frutas como bananas

Lark é ótimo em lidar com ambigüidades. Aqui está o resultado da análise da frase "moscas da fruta como bananas":

Leia o código aqui e veja mais exemplos aqui.

Lista dos principais recursos

• Constrói uma árvore de análise (AST) automaticamente, com base na estrutura da gramática
• Analisador Earley
  • Pode analisar todas as gramáticas livres de contexto
  • Suporte total para gramáticas ambíguas
• Analisador LALR(1)
  • Rápido e leve, competitivo com PLY
  • Pode gerar um analisador independente (leia mais)
• Gramática EBNF
• Unicode totalmente suportado
• Rastreamento automático de linhas e colunas
• Analisador interativo para fluxos de análise avançados e depuração
• Composição gramatical - Importe terminais e regras de outras gramáticas
• Biblioteca padrão de terminais (strings, números, nomes, etc.)
• Importe gramáticas de Nearley.js (leia mais)
• Extenso conjunto de testes
• Anotações de tipo (suporte MyPy)
• E muito mais!

Veja a lista completa de recursos aqui

Comparação com outras bibliotecas

Comparação de desempenho

Lark é rápido e leve (quanto menor, melhor)

Confira o tutorial JSON para mais detalhes de como foi feita a comparação.

Para benchmarks completos de terceiros, verifique o repositório Python Parsing Benchmarks.

Comparação de recursos

Biblioteca	Algoritmo	Gramática	Constrói árvore?	Suporta ambigüidade?	Pode lidar com todos os CFG?	Rastreamento de linha/coluna	Gera autônomo
Cotovia	Earley/LALR(1)	EBNF	Sim!	Sim!	Sim!	Sim!	Sim! (somente LALR)
DOBRA	LALR(1)	BNF	Não	Não	Não	Não	Não
PyParsing	PEG	Combinadores	Não	Não	Não*	Não	Não
Salsinha	PEG	EBNF	Não	Não	Não*	Não	Não
Parcimonioso	PEG	EBNF	Sim	Não	Não*	Não	Não
ANTLR	LL(*)	EBNF	Sim	Não	Sim?	Sim	Não

(* PEGs não podem lidar com gramáticas não determinísticas. Além disso, de acordo com a Wikipedia, permanece sem resposta se os PEGs podem realmente analisar todos os CFGs determinísticos )

Projetos usando Lark

• Poesia - Um utilitário para gerenciamento e empacotamento de dependências
• Vyper - Linguagem Pythonic de Contrato Inteligente para EVM
• PyQuil - biblioteca Python para programação quântica usando Quil
• Preql - Uma linguagem de consulta relacional interpretada que compila para SQL
• Hipótese – Biblioteca para testes baseados em propriedades
• mappyfile - um analisador MapFile para trabalhar com a configuração do MapServer
• tartiflette - servidor GraphQL da Dailymotion
• synapse - uma plataforma de análise de inteligência
• Datacube-core - Open Data Cube analisa dados de observação da Terra em escala continental ao longo do tempo
• SPFlow - Biblioteca para redes Sum-Product
• Torchani - Potencial de rede neural preciso no PyTorch
• Command-Block-Assembly - Uma linguagem assembly e compilador C para comandos do Minecraft
• EQL - Linguagem de Consulta de Eventos
• Fabric-SDK-Py - SDK de malha Hyperledger com Python 3.x
• obrigatório - validação de vários campos usando docstrings
• miniwdl - Um kit de ferramentas de análise estática para a linguagem de descrição de fluxo de trabalho
• pytreeview - um explorador gramatical leve baseado em árvore
• harmálise - Uma linguagem para análise harmônica e teoria musical
• gersemi - Um formatador de código CMake
• MistQL – Uma linguagem de consulta para estruturas semelhantes a JSON
• Outlines - Geração estruturada com grandes modelos de linguagem

Lista completa

Licença

Lark usa a licença do MIT.

(A ferramenta autônoma está em MPL2)

Colaboradores

Lark aceita solicitações pull. Veja Como desenvolver o Lark

Muito obrigado a todos que contribuíram até agora:

Patrocinador

Se você gosta do Lark e quer nos ver crescer, considere nos patrocinar!

Entre em contato com o autor

Perguntas sobre código são melhor feitas no gitter ou nos problemas.

Para qualquer outra coisa, posso ser contatado por e-mail em erezshin at gmail com.

-Erez