pybo

Ringkasan

bo menandai teks Tibet menjadi kata-kata.

Penggunaan dasar

Memulai

Perlu menginstal Python3.

 python3 -m pip install pybo

Tokenisasi sebuah string

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Tokenisasi daftar file

Perintah untuk memberi token pada daftar file dalam direktori:

 bo tok <path-to-directory>

Misalnya untuk memberi token pada file text.txt di direktori ./document/ dengan isi sebagai berikut:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

Saya menggunakan perintah:

 $ bo tok ./document/

...yang membuat file text.txt di direktori ./document_pybo berisi:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Menyortir kata-kata Tibet

$ bo kakha to-sort.txt

Masukan yang diharapkan adalah satu kata atau entri per baris dalam file .txt. File akan ditimpa.

FNR - Temukan dan Ganti dengan daftar regex

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o dan -t adalah opsional

File teks harus berupa file teks biasa UTF-8. Regex harus dalam format berikut:

 <find-pattern><tab>-<tab><replace-pattern>

Ucapan Terima Kasih

• pybo adalah perpustakaan sumber terbuka untuk NLP Tibet.

Kami selalu terbuka untuk bekerja sama dalam memperkenalkan fitur-fitur baru, integrasi alat, dan solusi pengujian.

Terima kasih banyak kepada perusahaan dan organisasi yang telah mendukung perkembangan pybo, khususnya:

• Khyentse Foundation yang telah menyumbangkan USD22,000 untuk memulai proyek ini
• Proyek kanon Barom/Esukhia untuk mensponsori kurasi data pelatihan
• BDRC telah menyumbangkan 2 staf selama 6 bulan untuk kurasi data

• third_party/rules.txt diambil dari Tibetan-collation.

Berkontribusi

Kloning dulu repo ini. Buat lingkungan virtual dan aktifkan. Kemudian instal dependensinya

$ pip install -e .
$ pip install -r requirements-dev.txt

Selanjutnya, siapkan pra-komit dengan membuat git hook pra-komit

$ pre-commit install

Silakan ikuti format pesan komit Agustus untuk pesan komit. Kami telah menyiapkan python-semantic-release untuk menerbitkan paket pybo secara otomatis berdasarkan pesan komit.

Itu saja, Selamat berkontribusi ???

Lisensi

Kode Python adalah Hak Cipta (C) 2019 Esukhia, disediakan di bawah Apache 2.

Penyumbang:

• Drupchen
• Elie Roux
• Gua Trinley
• Tenzin
• Joyce Mackzenzie atas pengerjaan ulang logonya