pybo

Descripción general

bo convierte el texto tibetano en palabras.

Uso básico

Empezando

Requiere tener Python3 instalado.

 python3 -m pip install pybo

Tokenizar una cadena

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Tokenizar una lista de archivos

El comando para tokenizar una lista de archivos en un directorio:

 bo tok <path-to-directory>

Por ejemplo, para tokenizar el archivo text.txt en un directorio ./document/ con el siguiente contenido:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

Yo uso el comando:

 $ bo tok ./document/

...que crean un archivo text.txt en un directorio ./document_pybo que contiene:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Clasificar palabras tibetanas

$ bo kakha to-sort.txt

La entrada esperada es una palabra o entrada por línea en un archivo .txt. El archivo se sobrescribirá.

FNR: buscar y reemplazar con una lista de expresiones regulares

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o y -t son opcionales

Los archivos de texto deben ser archivos de texto sin formato UTF-8. Las expresiones regulares deben tener el siguiente formato:

 <find-pattern><tab>-<tab><replace-pattern>

Expresiones de gratitud

• Pybo es una biblioteca de código abierto para PNL tibetana.

Siempre estamos abiertos a la cooperación para introducir nuevas funciones, integraciones de herramientas y soluciones de prueba.

Muchas gracias a las empresas y organizaciones que han apoyado el desarrollo de pybo, especialmente:

• Fundación Khyentse por contribuir con 22.000 dólares para iniciar el proyecto
• El proyecto canónico Barom/Esukhia para patrocinar la curación de datos de formación
• BDRC por contribuir con 2 empleados durante 6 meses para la curación de datos

• third_party/rules.txt está tomado de tibetan-collation.

Contribuyendo

Primero clona este repositorio. Crea un entorno virtual y actívalo. Luego instale las dependencias.

$ pip install -e .
$ pip install -r requirements-dev.txt

A continuación, configure el compromiso previo creando un gancho git de compromiso previo

$ pre-commit install

Siga el formato de mensaje de confirmación augular para el mensaje de confirmación. Hemos configurado python-semantic-release para publicar el paquete pybo automáticamente en función de los mensajes de confirmación.

Eso es todo, ¿Disfrutas contribuyendo?

Licencia

El código Python tiene Copyright (C) 2019 Esukhia y se proporciona bajo Apache 2.

Contribuyente:

• Drupchen
• Elie Roux
• Cueva Trinley
• Tenzin
• Joyce Mackzenzie por reelaborar el logo