pybo

Обзор

bo преобразует тибетский текст в слова.

Основное использование

Начиная

Требуется установленный Python3.

 python3 -m pip install pybo

Токенизация строки

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Токенизация списка файлов

Команда для токенизации списка файлов в каталоге:

 bo tok <path-to-directory>

Например, чтобы токенизировать файл text.txt в каталоге ./document/ со следующим содержимым:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

Я использую команду:

 $ bo tok ./document/

... которые создают файл text.txt в каталоге ./document_pybo , содержащий:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Сортировка тибетских слов

$ bo kakha to-sort.txt

Ожидаемый ввод — одно слово или запись в каждой строке файла .txt. Файл будет перезаписан.

FNR — найти и заменить списком регулярных выражений

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o и -t не являются обязательными

Текстовые файлы должны быть обычными текстовыми файлами UTF-8. Регулярные выражения должны иметь следующий формат:

 <find-pattern><tab>-<tab><replace-pattern>

Благодарности

• pybo — это библиотека с открытым исходным кодом для тибетского НЛП.

Мы всегда открыты к сотрудничеству по внедрению новых функций, интеграции инструментов и тестированию решений.

Большое спасибо компаниям и организациям, поддержавшим разработку pybo, особенно:

• Фонду Кхьенце за вклад в размере 22 000 долларов США на запуск проекта.
• Канонический проект Баром/Эсухия по финансированию курирования обучающих данных
• BDRC за предоставление 2 сотрудников на 6 месяцев для курирования данных

• third_party/rules.txt взят из tibetan-collation.

Содействие

Сначала клонируйте этот репозиторий. Создайте виртуальную среду и активируйте ее. Затем установите зависимости

$ pip install -e .
$ pip install -r requirements-dev.txt

Затем настройте предварительную фиксацию, создав git-перехватчик предварительной фиксации.

$ pre-commit install

Пожалуйста, следуйте формату сообщения о фиксации augular. Мы настроили python-semantic-release для автоматической публикации пакета pybo на основе сообщений о фиксации.

Вот и все. Желаем внести свой вклад ???

Лицензия

Код Python защищен авторским правом (C) 2019 Esukhia и предоставляется в составе Apache 2.

Автор:

• Друпчен
• Эли Ру
• Пещера Тринли
• Тензин
• Джойс Макзензи за переработку логотипа