ungoliant

Унголиант

?️ Ungoliant — это высокопроизводительный конвейер, предоставляющий инструменты для создания конвейеров генерации корпусов из CommonCrawl. ?️

В настоящее время это конвейер генерации корпуса OSCAR от CommonCrawl. Унголиант — замена goclassy.

Установка

Установка/компиляция двоичного файла

• Через cargo : cargo install ungoliant
• Через git : cargo install --git https://github.com/oscar-corpus/ungoliant

Ungoliant нуждается в многочисленных зависимостях, которые необходимо скомпилировать при установке. Однако может потребоваться cmake / gcc , поскольку в проекте используется fasttext-rs.

Функция КенЛМ

Функция KenLM является необязательной, поскольку она основана на небезопасном коде, который может сломаться, если предоставленные файлы модели неверны.

Чтобы включить его, установите требования KenLM:

apt install -y libboost-all-dev libeigen3-dev

и используйте cargo install ungoliant --features kenlm или cargo b --features kenlm если вы собираете из исходного кода.

Получение файла идентификации языка (для fastText):

По умолчанию ungoliant ожидает мета-модель lid.176.bin . Используйте curl https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -o lid.176.bin чтобы получить его.

Однако вы можете использовать ту модель, которую хотите: просто укажите ее путь с помощью ungoliant download --lid-path .

Другие варианты включают в себя:

• Модель NLLB (https://huggingface.co/facebook/fasttext-language-identification)
• Модель OpenLID (https://github.com/laurieburchell/open-lid-dataset)

Использование

Обычный способ создания корпусов:

1. Получите файл wet.paths.gz из последнего дампа CommonCrawl и распакуйте его.
2. Загрузите файлы с помощью команды download .
3. Сгенерируйте корпус с помощью команды pipeline (это может занять некоторое время).
4. Перейдите к oscar-tools для этапов упаковки.

Дополнительную информацию можно найти в --help каждой команды.

 ungoliant 2
corpus generation tool.

USAGE:
    ungoliant 

FLAGS:
    -h, --help       Prints help information
    -V, --version    Prints version information

SUBCOMMANDS:
    download    Download a CommonCrawl release
    help        Prints this message or the help of the given subcommand(s)
    pipeline    Run pipeline
    rebuild     Rebuild the corpus for a given language.

Документация

Ungoliant еще нет на docs.rs: используйте cargo doc --bins --open чтобы открыть документацию.

Посетите документацию OSCAR для получения дополнительной информации о проекте.