pybo

Überblick

bo symbolisiert tibetischen Text in Wörter.

Grundlegende Verwendung

Erste Schritte

Erfordert die Installation von Python3.

 python3 -m pip install pybo

Tokenisieren einer Zeichenfolge

drupchen@drupchen: ~ $ bo tok-string " ༄༅། །རྒྱ་གར་སྐད་དུ། བོ་དྷི་སཏྭ་ཙརྻ་ཨ་བ་ཏ་ར། བོད་སྐད་དུ། བྱང་ཆུབ་སེམས་དཔའི་སྤྱོད་པ་ལ་འཇུག་པ། །
སངས་རྒྱས་དང་བྱང་ཆུབ་སེམས་དཔའ་ཐམས་ཅད་ལ་ཕྱག་འཚལ་ལོ། །བདེ་གཤེགས་ཆོས་ཀྱི་སྐུ་མངའ་སྲས་བཅས་དང༌། །ཕྱག་འོས་ཀུན་ལའང་གུས་པར་ཕྱག་འཚལ་ཏེ། །བདེ་གཤེགས་
སྲས་ཀྱི་སྡོམ་ལ་འཇུག་པ་ནི། །ལུང་བཞིན་མདོར་བསྡུས་ནས་ནི་བརྗོད་པར་བྱ། ། "
Loading Trie... (2s.)
༄༅།_། རྒྱ་གར་ སྐད་ དུ །_ བོ་ དྷི་ སཏྭ་ ཙརྻ་ ཨ་བ་ ཏ་ ར །_ བོད་སྐད་ དུ །_ བྱང་ཆུབ་ སེམས་དཔ འི་ སྤྱོད་པ་ ལ་ འཇུག་པ །_། སངས་རྒྱས་ དང་ བྱང་ཆུབ་
སེམས་དཔའ་ ཐམས་ཅད་ ལ་ ཕྱག་ འཚལ་ ལོ །_། བདེ་གཤེགས་ ཆོས་ ཀྱི་ སྐུ་ མངའ་ སྲས་ བཅས་ དང༌ །_། ཕྱག་འོས་ ཀུན་ ལ འང་ གུས་པ ར་ ཕྱག་ འཚལ་
ཏེ །_། བདེ་གཤེགས་ སྲས་ ཀྱི་ སྡོམ་ ལ་ འཇུག་པ་ ནི །_། ལུང་ བཞིན་ མདོར་བསྡུས་ ནས་ ནི་ བརྗོད་པ ར་ བྱ །_།

Tokenisieren einer Liste von Dateien

Der Befehl zum Tokenisieren einer Liste von Dateien in einem Verzeichnis:

 bo tok <path-to-directory>

Um beispielsweise die Datei text.txt in einem Verzeichnis ./document/ mit folgendem Inhalt zu tokenisieren:

 བཀྲ་ཤི་ས་བདེ་ལེགས་ཕུན་སུམ་ཚོགས། །རྟག་ཏུ་བདེ་བ་ཐོབ་པར་ཤོག། །

Ich verwende den Befehl:

 $ bo tok ./document/

...die eine text.txt Datei in einem Verzeichnis ./document_pybo erstellen, das Folgendes enthält:

 བཀྲ་ ཤི་ ས་ བདེ་ལེགས་ ཕུན་སུམ་ ཚོགས །_། རྟག་ ཏུ་ བདེ་བ་ ཐོབ་པ ར་ ཤོག །_།

Tibetische Wörter sortieren

$ bo kakha to-sort.txt

Die erwartete Eingabe ist ein Wort oder Eintrag pro Zeile in einer TXT-Datei. Die Datei wird überschrieben.

FNR – Suchen und Ersetzen durch eine Liste von regulären Ausdrücken

 bo fnr <in-dir> <regex-file> -o <out-dir> -t <tag>

-o und -t sind optional

Textdateien sollten reine UTF-8-Textdateien sein. Die regulären Ausdrücke sollten das folgende Format haben:

 <find-pattern><tab>-<tab><replace-pattern>

Danksagungen

• pybo ist eine Open-Source-Bibliothek für tibetisches NLP.

Wir sind jederzeit offen für eine Zusammenarbeit bei der Einführung neuer Funktionen, Tool-Integrationen und Testlösungen.

Vielen Dank an die Unternehmen und Organisationen, die die Entwicklung von pybo unterstützt haben, insbesondere:

• Khyentse Foundation für die Bereitstellung von 22.000 US-Dollar für den Start des Projekts
• Das Kanonprojekt Barom/Esukhia zur Förderung der Kuratierung von Trainingsdaten
• BDRC für die Bereitstellung von 2 Mitarbeitern für 6 Monate zur Datenkuratierung

• third_party/rules.txt stammt aus tibetan-collation.

Mitwirken

Klonen Sie zuerst dieses Repo. Erstellen Sie eine virtuelle Umgebung und aktivieren Sie sie. Installieren Sie dann die Abhängigkeiten

$ pip install -e .
$ pip install -r requirements-dev.txt

Als nächstes richten Sie Pre-Commit ein, indem Sie einen Pre-Commit-Git-Hook erstellen

$ pre-commit install

Bitte befolgen Sie für die Commit-Nachricht das Augular-Commit-Nachrichtenformat. Wir haben python-semantic-release so eingerichtet, dass das Pybo-Paket automatisch basierend auf Commit-Nachrichten veröffentlicht wird.

Das ist alles. Viel Spaß beim Mitwirken???

Lizenz

Der Python-Code ist Copyright (C) 2019 Esukhia und wird unter Apache 2 bereitgestellt.

Mitwirkender:

• Drupchen
• Elie Roux
• Trinley-Höhle
• Tenzin
• Joyce Mackzenzie für die Überarbeitung des Logos