pybo

Aperçu

bo symbolise le texte tibétain en mots.

Utilisation de base

Commencer

Nécessite l'installation de Python3.

 python3 -m pip install pybo

Tokeniser une chaîne

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Tokeniser une liste de fichiers

La commande pour tokeniser une liste de fichiers dans un répertoire :

 bo tok <path-to-directory>

Par exemple pour tokeniser le fichier text.txt dans un répertoire ./document/ avec le contenu suivant :

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

J'utilise la commande :

 $ bo tok ./document/

...qui crée un fichier text.txt dans un répertoire ./document_pybo contenant :

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Trier les mots tibétains

$ bo kakha to-sort.txt

L'entrée attendue est un mot ou une entrée par ligne dans un fichier .txt. Le fichier sera écrasé.

FNR - Rechercher et remplacer par une liste d'expressions régulières

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o et -t sont facultatifs

Les fichiers texte doivent être des fichiers texte brut UTF-8. Les expressions rationnelles doivent être au format suivant :

 <find-pattern><tab>-<tab><replace-pattern>

Remerciements

• pybo est une bibliothèque open source pour la PNL tibétaine.

Nous sommes toujours ouverts à la coopération pour l’introduction de nouvelles fonctionnalités, d’intégrations d’outils et de solutions de test.

Un grand merci aux entreprises et organisations qui ont soutenu le développement de pybo, notamment :

• Fondation Khyentse pour sa contribution de 22 000 USD au lancement du projet
• Le projet canon Barom/Esukhia pour le sponsoring de la conservation des données de formation
• BDRC pour la contribution de 2 personnes pendant 6 mois à la conservation des données

• third_party/rules.txt est extrait de tibetan-collation.

Contribuer

Clonez d’abord ce dépôt. Créez un environnement virtuel et activez-le. Ensuite installez les dépendances

$ pip install -e .
$ pip install -r requirements-dev.txt

Ensuite, configurez le pré-commit en créant un git hook de pré-commit

$ pre-commit install

Veuillez suivre le format de message de validation augulaire pour le message de validation. Nous avons configuré python-semantic-release pour publier automatiquement le package pybo en fonction des messages de validation.

C'est tout, aimez contribuer ???

Licence

Le code Python est Copyright (C) 2019 Esukhia, fourni sous Apache 2.

Donateur:

• Drupchen
• Élie Roux
• Grotte de Trinley
• Tenzin
• Joyce Mackzenzie pour avoir retravaillé le logo