ungoliant

Ungoliant

?️ Ungoliant é um pipeline de alto desempenho que fornece ferramentas para construir pipelines de geração de corpus a partir do CommonCrawl. ?️

Atualmente é o pipeline de geração do corpus OSCAR, do CommonCrawl. Ungoliant é um substituto do goclassy.

Instalação

Instalando/compilando o binário

• Via cargo : cargo install ungoliant
• Via git : cargo install --git https://github.com/oscar-corpus/ungoliant

Ungoliant precisa de inúmeras dependências que devem ser compiladas durante a instalação. No entanto, cmake / gcc pode ser necessário, pois o projeto usa fasttext-rs.

Recurso KenLM

O recurso KenLM é opcional porque depende de código inseguro que pode quebrar se os arquivos de modelo fornecidos não estiverem corretos.

Para habilitá-lo, instale os requisitos do KenLM:

apt install -y libboost-all-dev libeigen3-dev

e use cargo install ungoliant --features kenlm ou cargo b --features kenlm se você estiver construindo a partir do código-fonte.

Obtendo um arquivo de identificação de idioma (para fastText):

Por padrão, ungoliant espera o modelo lid.176.bin por meta. Use curl https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -o lid.176.bin para obtê-lo.

Porém, você pode usar o modelo que desejar: basta apontar para seu caminho usando ungoliant download --lid-path .

Outras opções incluem:

• Modelo NLLB (https://huggingface.co/facebook/fasttext-language-identification)
• Modelo OpenLID (https://github.com/laurieburchell/open-lid-dataset)

Uso

A forma usual de gerar corpora é:

1. Obtenha o arquivo wet.paths.gz do último dump do CommonCrawl e descompacte-o.
2. Baixe os arquivos usando o comando download .
3. Gere o corpus usando o comando pipeline (pode levar algum tempo).
4. Vá para oscar-tools para as etapas de embalagem

Você pode encontrar mais informações sobre --help de cada comando.

 ungoliant 2
corpus generation tool.

USAGE:
    ungoliant 

FLAGS:
    -h, --help       Prints help information
    -V, --version    Prints version information

SUBCOMMANDS:
    download    Download a CommonCrawl release
    help        Prints this message or the help of the given subcommand(s)
    pipeline    Run pipeline
    rebuild     Rebuild the corpus for a given language.

Documentação

Ungoliant ainda não está no docs.rs: use cargo doc --bins --open para abrir a documentação.

Acesse a documentação do OSCAR para obter mais informações sobre o projeto.