ดาวน์โหลด pybo - ดาวน์โหลดซอร์สโค้ด pybo

pybo

ซอร์สโค้ดอื่น ๆ

v0.8.0

ดาวน์โหลด

ภาพรวม

bo tokenize ข้อความภาษาทิเบตเป็นคำ

การใช้งานขั้นพื้นฐาน

เริ่มต้นใช้งาน

จำเป็นต้องติดตั้ง Python3

 python3 -m pip install pybo

Tokenizing สตริง

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

โทเค็นไลซ์รายการไฟล์

คำสั่งเพื่อสร้างโทเค็นรายการไฟล์ในไดเร็กทอรี:

 bo tok <path-to-directory>

ตัวอย่างเช่น หากต้องการโทเค็นไฟล์ text.txt ในไดเร็กทอรี ./document/ โดยมีเนื้อหาดังต่อไปนี้:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

ฉันใช้คำสั่ง:

 $ bo tok ./document/

... ซึ่งสร้างไฟล์ text.txt ในไดเร็กทอรี ./document_pybo ที่มี:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

การเรียงลำดับคำภาษาทิเบต

$ bo kakha to-sort.txt

อินพุตที่คาดหวังคือหนึ่งคำหรือรายการต่อบรรทัดในไฟล์ .txt ไฟล์จะถูกเขียนทับ

FNR - ค้นหาและแทนที่ด้วยรายการ regexes

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o และ -t เป็นทางเลือก

ไฟล์ข้อความควรเป็นไฟล์ข้อความธรรมดา UTF-8 regexes ควรอยู่ในรูปแบบต่อไปนี้:

 <find-pattern><tab>-<tab><replace-pattern>

รับทราบ

pybo เป็นไลบรารีโอเพ่นซอร์สสำหรับ Tibetan NLP

เราพร้อมเสมอที่จะให้ความร่วมมือในการแนะนำคุณสมบัติใหม่ การผสานรวมเครื่องมือ และโซลูชันการทดสอบ

ขอขอบคุณบริษัทและองค์กรต่างๆ ที่สนับสนุนการพัฒนาของ pybo โดยเฉพาะ:

มูลนิธิ Khyentse บริจาคเงิน 22,000 ดอลลาร์สหรัฐเพื่อเริ่มต้นโครงการ
โครงการหลักการบรม/เอซูเคียเพื่อสนับสนุนการดูแลจัดการข้อมูลการฝึกอบรม
BDRC บริจาคพนักงาน 2 คน เป็นเวลา 6 เดือนในการดูแลข้อมูล

third_party/rules.txt นำมาจากการจัดเรียงภาษาทิเบต

มีส่วนร่วม

ขั้นแรกให้โคลน repo นี้ สร้างสภาพแวดล้อมเสมือนจริงและเปิดใช้งาน จากนั้นติดตั้งการพึ่งพา

$ pip install -e .
$ pip install -r requirements-dev.txt

ถัดไป ตั้งค่าการคอมมิตล่วงหน้าโดยการสร้าง git hook คอมมิตล่วงหน้า

$ pre-commit install

โปรดปฏิบัติตามรูปแบบข้อความการคอมมิตแบบ augular สำหรับข้อความการคอมมิต เรามีการตั้งค่า python-semantic-release เพื่อเผยแพร่แพ็คเกจ pybo โดยอัตโนมัติตามข้อความที่คอมมิต

เพียงเท่านี้ สนุกกับการมีส่วนร่วม ???