lark

Lark - perangkat penguraian untuk Python

Lark adalah perangkat penguraian untuk Python, dibuat dengan fokus pada ergonomi, kinerja, dan modularitas.

Lark dapat mengurai semua bahasa bebas konteks. Sederhananya, ini berarti ia mampu mengurai hampir semua bahasa pemrograman yang ada, dan pada tingkat tertentu juga sebagian besar bahasa alami.

Untuk siapa ini?

• Pemula : Lark sangat ramah untuk bereksperimen. Itu dapat mengurai tata bahasa apa pun yang Anda gunakan, tidak peduli seberapa rumit atau ambigunya, dan melakukannya dengan efisien. Ini juga membuat pohon parse beranotasi untuk Anda, hanya menggunakan tata bahasa dan masukan, dan memberi Anda alat yang mudah dan fleksibel untuk memproses pohon parse tersebut.

• Pakar : Lark mengimplementasikan Earley (SPPF) dan LALR(1), serta beberapa lexer yang berbeda, sehingga Anda dapat menukar kekuatan dan kecepatan, sesuai dengan kebutuhan Anda. Ini juga menyediakan berbagai fitur dan utilitas canggih.

Apa yang bisa dilakukannya?

• Parsing semua tata bahasa bebas konteks, dan tangani ambiguitas apa pun dengan baik
• Buat pohon parse beranotasi secara otomatis, tidak diperlukan kode konstruksi.
• Memberikan kinerja terbaik dalam hal kompleksitas Big-O dan waktu proses terukur (mengingat ini adalah Python;)
• Jalankan di setiap juru bahasa Python (ini murni python)
• Menghasilkan parser yang berdiri sendiri (untuk tata bahasa LALR(1))

Dan masih banyak lagi fitur lainnya. Baca dulu dan cari tahu!

Yang terpenting, Lark akan menghemat waktu Anda dan mencegah Anda mengalami sakit kepala akibat parsing.

Tautan cepat

• Dokumentasi @readthedocs
• Lembar Cheat (PDF)
• IDE daring
• Tutorial untuk menulis parser JSON.
• Entri blog: Cara menulis DSL dengan Lark
• Obrolan yang membosankan

Instal Lark

 $ pip install lark --upgrade

Lark tidak memiliki ketergantungan.

Penyorotan Sintaks

Lark menyediakan penyorotan sintaksis untuk file tata bahasanya (*.lark):

• Teks Luhur & TextMate
• vscode
• Intellij & PyCharm
• Vim
• Atom

Klon

Ini adalah implementasi Lark dalam bahasa lain. Mereka menerima tata bahasa Lark, dan menyediakan utilitas serupa.

• Lerche (Julia) - tiruan tidak resmi, seluruhnya ditulis dalam Julia.
• Lark.js (Javascript) - port generator parser LALR(1) yang berdiri sendiri ke Javascsript.

Halo Dunia

Berikut adalah program kecil untuk mengurai "Halo, Dunia!" (Atau frasa serupa lainnya):

 from lark import Lark

l = Lark ( '''start: WORD "," WORD "!"

            %import common.WORD   // imports from terminal library
            %ignore " "           // Disregard spaces in text
         ''' )

print ( l . parse ( "Hello, World!" ) )

Dan hasilnya adalah:

 Tree ( start , [ Token ( WORD , 'Hello' ), Token ( WORD , 'World' )])

Perhatikan tanda baca tidak muncul di pohon yang dihasilkan. Ini secara otomatis disaring oleh Lark.

Lalat buah seperti pisang

Lark pandai menangani ambiguitas. Berikut hasil penguraian kalimat “lalat buah seperti pisang”:

Baca kodenya di sini, dan lihat contoh lainnya di sini.

Daftar fitur utama

• Membangun pohon parse (AST) secara otomatis, berdasarkan struktur tata bahasa
• pengurai Earley
  • Dapat mengurai semua tata bahasa bebas konteks
  • Dukungan penuh untuk tata bahasa yang ambigu
• LALR(1) pengurai
  • Cepat dan ringan, bersaing dengan PLY
  • Dapat menghasilkan parser yang berdiri sendiri (baca selengkapnya)
• Tata bahasa EBNF
• Unicode didukung penuh
• Pelacakan baris & kolom otomatis
• Parser interaktif untuk alur parsing dan debugging tingkat lanjut
• Komposisi tata bahasa - Impor terminal dan aturan dari tata bahasa lain
• Perpustakaan standar terminal (string, angka, nama, dll.)
• Impor tata bahasa dari Nearley.js (baca selengkapnya)
• Rangkaian pengujian yang luas
• Ketik anotasi (dukungan MyPy)
• Dan masih banyak lagi!

Lihat daftar lengkap fitur di sini

Perbandingan dengan perpustakaan lain

Perbandingan kinerja

Lark cepat dan ringan (lebih rendah lebih baik)

Lihat tutorial JSON untuk detail selengkapnya tentang cara perbandingan dibuat.

Untuk tolok ukur pihak ketiga yang menyeluruh, periksa repo Tolok Ukur Parsing Python.

Perbandingan fitur

Perpustakaan	Algoritma	Tata bahasa	Membangun pohon?	Mendukung ambiguitas?	Bisakah menangani setiap CFG?	Pelacakan Garis/Kolom	Menghasilkan Stand-alone
bersenang-senang	Earley/LALR(1)	EBNF	Ya!	Ya!	Ya!	Ya!	Ya! (hanya LALR)
LAPIS	LALR(1)	BNF	TIDAK	TIDAK	TIDAK	TIDAK	TIDAK
Parsing Py	PASAK	Kombinator	TIDAK	TIDAK	TIDAK*	TIDAK	TIDAK
Peterseli	PASAK	EBNF	TIDAK	TIDAK	TIDAK*	TIDAK	TIDAK
Pelit	PASAK	EBNF	Ya	TIDAK	TIDAK*	TIDAK	TIDAK
ANTLR	II(*)	EBNF	Ya	TIDAK	Ya?	Ya	TIDAK

(* PEG tidak dapat menangani tata bahasa non-deterministik. Selain itu, menurut Wikipedia, masih belum terjawab apakah PEG benar-benar dapat mengurai semua CFG deterministik )

Proyek menggunakan Lark

• Puisi - Utilitas untuk manajemen ketergantungan dan pengemasan
• Vyper - Bahasa Kontrak Cerdas Pythonic untuk EVM
• PyQuil - Pustaka Python untuk pemrograman kuantum menggunakan Quil
• Preql - Bahasa kueri relasional yang ditafsirkan yang dikompilasi ke SQL
• Hipotesis - Perpustakaan untuk pengujian berbasis properti
• mappyfile - parser MapFile untuk bekerja dengan konfigurasi MapServer
• tartiflette - Server GraphQL oleh Dailymotion
• synapse - platform analisis intelijen
• Datacube-core - Open Data Cube menganalisis data Pengamatan Bumi skala kontinental sepanjang waktu
• SPFlow - Perpustakaan untuk Jaringan Sum-Produk
• Torchani - Potensi Jaringan Neural Akurat di PyTorch
• Command-Block-Assembly - Bahasa rakitan, dan kompiler C, untuk perintah Minecraft
• EQL - Bahasa Kueri Acara
• Fabric-SDK-Py - SDK kain Hyperledger dengan Python 3.x
• diperlukan - validasi multi-bidang menggunakan docstrings
• miniwdl - Perangkat analisis statis untuk Bahasa Deskripsi Alur Kerja
• pytreeview - penjelajah tata bahasa berbasis pohon yang ringan
• harmalysis - Bahasa untuk analisis harmonik dan teori musik
• gersemi - Pemformat kode CMake
• MistQL - Bahasa kueri untuk struktur mirip JSON
• Garis Besar - Generasi terstruktur dengan Model Bahasa Besar

Daftar lengkap

Lisensi

Lark menggunakan lisensi MIT.

(Alat mandiri ada di bawah MPL2)

Kontributor

Lark menerima permintaan tarik. Lihat Cara mengembangkan Lark

Terima kasih banyak kepada semua orang yang berkontribusi sejauh ini:

Sponsor

Jika Anda menyukai Lark dan ingin melihat kami berkembang, mohon pertimbangkan untuk mensponsori kami!

Hubungi penulisnya

Pertanyaan tentang kode paling baik ditanyakan di gitter atau di isu.

Untuk hal lain, saya dapat dihubungi melalui email di erezshin di gmail com.

--Erez