pybo

Visão geral

bo transforma o texto tibetano em palavras.

Uso básico

Começando

Requer ter Python3 instalado.

 python3 -m pip install pybo

Tokenizando uma string

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Tokenizando uma lista de arquivos

O comando para tokenizar uma lista de arquivos em um diretório:

 bo tok <path-to-directory>

Por exemplo, para tokenizar o arquivo text.txt em um diretório ./document/ com o seguinte conteúdo:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

Eu uso o comando:

 $ bo tok ./document/

...que cria um arquivo text.txt em um diretório ./document_pybo contendo:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Classificando palavras tibetanas

$ bo kakha to-sort.txt

A entrada esperada é uma palavra ou entrada por linha em um arquivo .txt. O arquivo será sobrescrito.

FNR - Encontre e substitua por uma lista de regexes

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o e -t são opcionais

Os arquivos de texto devem ser arquivos de texto simples UTF-8. As regexes devem estar no seguinte formato:

 <find-pattern><tab>-<tab><replace-pattern>

Agradecimentos

• pybo é uma biblioteca de código aberto para PNL tibetana.

Estamos sempre abertos à cooperação na introdução de novos recursos, integrações de ferramentas e soluções de teste.

Muito obrigado às empresas e organizações que apoiaram o desenvolvimento do pybo, especialmente:

• Fundação Khyentse pela contribuição de US$ 22.000 para iniciar o projeto
• O projeto canônico Barom/Esukhia para patrocinar a curadoria de dados de treinamento
• BDRC por contribuir com 2 funcionários por 6 meses para curadoria de dados

• third_party/rules.txt foi retirado do agrupamento tibetano.

Contribuindo

Primeiro clone este repositório. Crie um ambiente virtual e ative-o. Em seguida instale as dependências

$ pip install -e .
$ pip install -r requirements-dev.txt

Em seguida, configure o pré-commit criando o git hook pré-commit

$ pre-commit install

Por favor, siga o formato de mensagem de commit augular para mensagem de commit. Configuramos python-semantic-release para publicar o pacote pybo automaticamente com base em mensagens de commit.

Isso é tudo, gosta de contribuir ???

Licença

O código Python é Copyright (C) 2019 Esukhia, fornecido no Apache 2.

Contribuinte:

• Drupchen
• Elie Roux
• Caverna Trinley
• Tenzin
• Joyce Mackzenzie pela reformulação do logotipo