few shot lm

نماذج اللغة هي عدد قليل من المتعلمين متعددي اللغات

ورق

هذا هو الكود المصدري للمقالة [Arxiv] [ACL Anthology]:

تمت كتابة هذا الرمز باستخدام PyTorch. إذا كنت تستخدم أكواد المصدر أو مجموعات البيانات المضمنة في مجموعة الأدوات هذه في عملك، فيرجى الاستشهاد بالمقالة التالية:

 @inproceedings{winata-etal-2021-language,
    title = "نماذج اللغة عبارة عن عدد قليل من المتعلمين متعددي اللغات"،
    المؤلف = "ويناتا، جينتا إندرا و
      مادوتو وأندريا و
      لين، تشاوجيانغ و
      ليو، روزان و
      يوسينسكي، جيسون و
      فونج، باسكال"،
    booktitle = "وقائع ورشة العمل الأولى حول تعلم التمثيل متعدد اللغات"،
    الشهر = نوفمبر،
    العام = "2021"،
    العنوان = "بونتا كانا، جمهورية الدومينيكان"،
    الناشر = "جمعية اللغويات الحاسوبية"،
    URL = "https://aclanthology.org/2021.mrl-1.1"،
    الصفحات = "1--15"،
}

بيئة الإعداد

آلة GPU

pip install -r requirements.txt

آلة GPU لتشغيل موديل GPT-J 6B

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

كيفية الجري

مهمة متقاطعة بدون طلقة

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

ضبط دقيق

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42