ungoliant

غير شجاع

️ Ungoliant هو خط أنابيب عالي الأداء يوفر أدوات لبناء خطوط أنابيب إنشاء المجموعة من CommonCrawl. ?️

وهو حاليًا خط أنابيب الإنشاء لمجموعة OSCAR، من CommonCrawl. Ungoliant هو بديل لـ goclassy.

تثبيت

تثبيت/تجميع الثنائي

• عن طريق cargo : cargo install ungoliant
• عبر git : cargo install --git https://github.com/oscar-corpus/ungoliant

يحتاج Ungoliant إلى العديد من التبعيات التي يجب تجميعها عند التثبيت. ومع ذلك، قد تكون هناك حاجة إلى cmake / gcc لأن المشروع يستخدم fasttext-rs.

خاصية كينلم

تعد ميزة KenLM اختيارية لأنها تعتمد على تعليمات برمجية غير آمنة يمكن أن تنقطع إذا كانت ملفات النموذج المتوفرة غير صحيحة.

لتمكينه، قم بتثبيت متطلبات KenLM:

apt install -y libboost-all-dev libeigen3-dev

واستخدم cargo install ungoliant --features kenlm أو cargo b --features kenlm إذا كنت تقوم بالإنشاء من المصدر.

الحصول على ملف تعريف اللغة (للنص السريع):

بشكل افتراضي، يتوقع ungoliant النموذج lid.176.bin بواسطة Meta. استخدم curl https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin -o lid.176.bin للحصول عليه.

ومع ذلك، يمكنك استخدام النموذج الذي تريده: ما عليك سوى الإشارة إلى مساره باستخدام ungoliant download --lid-path .

تشمل الخيارات الأخرى ما يلي:

• نموذج NLLB (https://huggingface.co/facebook/fasttext-language-identification)
• نموذج OpenLID (https://github.com/laurieburchell/open-lid-dataset)

الاستخدام

الطريقة المعتادة لتوليد المجاميع هي:

1. قم بإحضار الملف wet.paths.gz من ملف تفريغ CommonCrawl الأخير وفك ضغطه.
2. قم بتنزيل الملفات باستخدام أمر download .
3. قم بإنشاء المجموعة باستخدام أمر pipeline (قد يستغرق الأمر بعض الوقت).
4. توجه إلى أدوات أوسكار للتعرف على خطوات التغليف

يمكنك العثور على مزيد من المعلومات حول --help لكل أمر.

 ungoliant 2
corpus generation tool.

USAGE:
    ungoliant 

FLAGS:
    -h, --help       Prints help information
    -V, --version    Prints version information

SUBCOMMANDS:
    download    Download a CommonCrawl release
    help        Prints this message or the help of the given subcommand(s)
    pipeline    Run pipeline
    rebuild     Rebuild the corpus for a given language.

التوثيق

Ungoliant ليس موجودًا بعد في doc.rs: استخدم cargo doc --bins --open لفتح الوثائق.

توجه إلى وثائق OSCAR لمزيد من المعلومات حول المشروع.