Загрузка lark - Загрузка исходного кода lark

lark

Питон

1.2.2 - Bugfix for 1.2.1 (Earley issues with ambiguity)

Скачать

Lark — набор инструментов синтаксического анализа для Python

Lark — это набор инструментов для синтаксического анализа Python, созданный с упором на эргономику, производительность и модульность.

Lark может анализировать все контекстно-свободные языки. Проще говоря, это означает, что он способен анализировать практически любой язык программирования, а также, в некоторой степени, большинство естественных языков.

Для кого это?

Начинающие : Жаворонок очень дружелюбен к экспериментам. Он может анализировать любую грамматику, которую вы ему бросите, независимо от того, насколько она сложна или неоднозначна, и делает это эффективно. Он также создает для вас аннотированное дерево синтаксического анализа, используя только грамматику и входные данные, и предоставляет вам удобные и гибкие инструменты для обработки этого дерева синтаксического анализа.
Эксперты : Lark реализует как Earley(SPPF), так и LALR(1), а также несколько различных лексеров, поэтому вы можете выбирать между мощностью и скоростью в соответствии с вашими требованиями. Он также предоставляет множество сложных функций и утилит.

Что он может сделать?

Анализируйте все контекстно-свободные грамматики и изящно обрабатывайте любую двусмысленность.
Автоматически постройте аннотированное дерево разбора, не требуя кода построения.
Обеспечить первоклассную производительность с точки зрения сложности Big-O и измеренного времени выполнения (учитывая, что это Python;)
Запускать на каждом интерпретаторе Python (это чистый Python)
Создайте автономный парсер (для грамматик LALR(1)).

И многие другие функции. Читайте дальше и узнайте!

Самое главное, что Lark сэкономит вам время и избавит вас от головной боли при синтаксическом анализе.

Быстрые ссылки

Документация @readthedocs
Шпаргалка (PDF)
Интернет-IDE
Учебник по написанию парсера JSON.
Сообщение в блоге: Как написать DSL с помощью Lark
Гиттер чат

Установить Жаворонок

 $ pip install lark --upgrade

У Ларка нет зависимостей.

Подсветка синтаксиса

Lark обеспечивает подсветку синтаксиса для своих файлов грамматики (*.lark):

Возвышенный текст и TextMate
vscode
Intellij и PyCharm
Вим
Атом

Клоны

Это реализации Lark на других языках. Они принимают грамматики Lark и предоставляют аналогичные утилиты.

Лерче (Юлия) — неофициальный клон, полностью написанный на Джулии.
Lark.js (Javascript) — порт автономного генератора парсера LALR(1) на Javascsript.

Привет, мир

Вот небольшая программа для анализа "Hello, World!" (Или любая другая подобная фраза):

 from lark import Lark

l = Lark ( '''start: WORD "," WORD "!"

            %import common.WORD   // imports from terminal library
            %ignore " "           // Disregard spaces in text
         ''' )

print ( l . parse ( "Hello, World!" ) )

И результат:

 Tree ( start , [ Token ( WORD , 'Hello' ), Token ( WORD , 'World' )])

Обратите внимание, что в полученном дереве не отображаются знаки препинания. Ларк автоматически отфильтровывает их.

Плодовые мушки, похожие на бананы

Ларк отлично справляется с двусмысленностью. Вот результат разбора фразы «дрозофилы как бананы»:

плодовые мухи.png

Прочтите код здесь и посмотрите больше примеров здесь.

Список основных функций

Автоматически строит дерево разбора (AST) на основе структуры грамматики.
Парсер Эрли
- Может анализировать все контекстно-свободные грамматики
- Полная поддержка неоднозначных грамматик
LALR(1) парсер
- Быстрый и легкий, конкурентоспособный с PLY
- Может генерировать автономный парсер (подробнее)
EBNF- грамматика
Юникод полностью поддерживается
Автоматическое отслеживание строк и столбцов
Интерактивный анализатор для расширенных потоков анализа и отладки.
Состав грамматики — импорт терминалов и правил из других грамматик.
Стандартная библиотека терминалов (строки, числа, имена и т.д.)
Импортируйте грамматики из Nearley.js (подробнее)
Обширный набор тестов
Введите аннотации (поддержка MyPy)
И многое другое!

Полный список функций смотрите здесь

Сравнение с другими библиотеками

Сравнение производительности

Жаворонок быстрый и легкий (чем ниже, тем лучше)

Сравнение времени выполнения

Сравнение использования памяти

Ознакомьтесь с руководством по JSON для получения более подробной информации о том, как было проведено сравнение.

Подробные сторонние тесты можно найти в репозитории Python Parsing Benchmarks.

Сравнение функций

Библиотека	Алгоритм	Грамматика	Строит дерево?	Поддерживает двусмысленность?	Сможет ли обрабатывать любые CFG?	Отслеживание строк/столбцов	Создает автономный
Жаворонок	Эрли/ЛАЛР(1)	ЕБНФ	Да!	Да!	Да!	Да!	Да! (только ЛАЛР)
ПЛИ	ЛАЛР(1)	БНФ	Нет	Нет	Нет	Нет	Нет
ПиПарсинг	ПЭГ	Комбинаторы	Нет	Нет	Нет*	Нет	Нет
Петрушка	ПЭГ	ЕБНФ	Нет	Нет	Нет*	Нет	Нет
Скромный	ПЭГ	ЕБНФ	Да	Нет	Нет*	Нет	Нет
АНТЛР	ЛЛ(*)	ЕБНФ	Да	Нет	Да?	Да	Нет

(* PEG не могут обрабатывать недетерминированные грамматики. Кроме того, согласно Википедии, остается без ответа, действительно ли PEG могут анализировать все детерминированные CFG )

Проекты с использованием Lark

Poetry — утилита для управления зависимостями и упаковки.
Vyper — Pythonic язык смарт-контрактов для EVM
PyQuil — библиотека Python для квантового программирования с использованием Quil.
Preql — интерпретируемый реляционный язык запросов, который компилируется в SQL.
Гипотеза — библиотека для тестирования на основе свойств
Mappyfile — парсер MapFile для работы с конфигурацией MapServer.
tartiflette — сервер GraphQL от Dailymotion
Synapse — платформа анализа интеллекта
Datacube-core — Open Data Cube анализирует данные наблюдения Земли континентального масштаба во времени.
SPFlow — библиотека для сетей суммы произведений
Торчани — точный потенциал нейронной сети на PyTorch
Command-Block-Assembly — язык ассемблера и компилятор C для команд Minecraft.
EQL — язык запросов событий
Fabric-SDK-Py — пакет SDK Hyperledger Fabric с Python 3.x.
требуется — проверка нескольких полей с использованием строк документации
miniwdl — набор инструментов статического анализа для языка описания рабочих процессов.
pytreeview — легкий древовидный проводник грамматики
гармализ - язык гармонического анализа и теории музыки.
Gersemi — форматировщик кода CMake
MistQL — язык запросов для JSON-подобных структур.
Краткое описание — Структурированная генерация с использованием больших языковых моделей