ungoliant

Ungoliant

?️ Ungoliant ist eine Hochleistungs-Pipeline, die Tools zum Erstellen von Pipelines zur Korpusgenerierung aus CommonCrawl bereitstellt. ?️

Derzeit handelt es sich um die Generierungspipeline für das OSCAR-Korpus von CommonCrawl. Ungoliant ist ein Ersatz für Goclassy.

Installation

Installieren/Kompilieren der Binärdatei

• Über cargo : cargo install ungoliant
• Über git : cargo install --git https://github.com/oscar-corpus/ungoliant

Ungoliant benötigt zahlreiche Abhängigkeiten, die bei der Installation kompiliert werden sollten. Allerdings kann cmake / gcc erforderlich sein, da das Projekt fasttext-rs verwendet.

KenLM-Funktion

Die KenLM-Funktion ist optional, da sie auf unsicherem Code basiert, der beschädigt werden kann, wenn die bereitgestellten Modelldateien nicht korrekt sind.

Um es zu aktivieren, installieren Sie die KenLM-Anforderungen:

apt install -y libboost-all-dev libeigen3-dev

und verwenden Sie cargo install ungoliant --features kenlm oder cargo b --features kenlm wenn Sie aus dem Quellcode erstellen.

Abrufen einer Sprachidentifikationsdatei (für fastText):

Standardmäßig erwartet ungoliant das Modell lid.176.bin per Meta. Verwenden Sie curl https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -o lid.176.bin um es zu erhalten.

Sie können jedoch das gewünschte Modell verwenden: Zeigen Sie einfach mit ungoliant download --lid-path auf seinen Pfad.

Weitere Optionen sind:

• NLLB-Modell (https://huggingface.co/facebook/fasttext-Language-Identification)
• OpenLID-Modell (https://github.com/laurieburchell/open-lid-dataset)

Verwendung

Die übliche Methode zum Generieren von Korpora ist:

1. Rufen Sie die Datei wet.paths.gz aus dem letzten CommonCrawl-Dump ab und dekomprimieren Sie sie.
2. Laden Sie die Dateien mit dem download -Befehl herunter.
3. Generieren Sie den Korpus mit dem pipeline -Befehl (dies kann einige Zeit dauern).
4. Gehen Sie zu oscar-tools für die Verpackungsschritte

Weitere Informationen finden Sie im --help der einzelnen Befehle.

 ungoliant 2
corpus generation tool.

USAGE:
    ungoliant 

FLAGS:
    -h, --help       Prints help information
    -V, --version    Prints version information

SUBCOMMANDS:
    download    Download a CommonCrawl release
    help        Prints this message or the help of the given subcommand(s)
    pipeline    Run pipeline
    rebuild     Rebuild the corpus for a given language.

Dokumentation

Ungoliant ist noch nicht auf docs.rs: Verwenden Sie cargo doc --bins --open um die Dokumentation zu öffnen.

Weitere Informationen zum Projekt finden Sie in der OSCAR-Dokumentation.