few shot lm

โมเดลภาษาเป็นผู้เรียนหลายภาษาเพียงไม่กี่คน

กระดาษ

นี่คือซอร์สโค้ดของรายงาน [Arxiv] [ACL Anthology]:

รหัสนี้เขียนโดยใช้ PyTorch หากคุณใช้ซอร์สโค้ดหรือชุดข้อมูลที่รวมอยู่ในชุดเครื่องมือนี้ในงานของคุณ โปรดอ้างอิงเอกสารต่อไปนี้:

 @inproceedings{winata-etal-2021-ภาษา,
    title = "โมเดลภาษาเป็นผู้เรียนหลายภาษาเพียงไม่กี่คน",
    ผู้แต่ง = "วินาตะ, เกนตะ อินดรา และ
      มาดอตโต้, อันเดรีย และ
      หลิน จ้าวเจียง และ
      หลิว โรซาน และ
      โยซินสกี้, เจสัน และ
      ฟุง ปาสคาล”
    booktitle = "การประชุมเชิงปฏิบัติการเรื่องการเรียนรู้การเป็นตัวแทนหลายภาษาครั้งที่ 1",
    เดือน = พ.ย.
    ปี = "2021",
    ที่อยู่ = "ปุนตากานา สาธารณรัฐโดมินิกัน",
    ผู้จัดพิมพ์ = "สมาคมภาษาศาสตร์คอมพิวเตอร์",
    url = "https://aclanthology.org/2021.mrl-1.1",
    หน้า = "1--15",
-

ตั้งค่าสภาพแวดล้อม

เครื่องจีพียู

pip install -r requirements.txt

เครื่อง GPU สำหรับรันรุ่น GPT-J 6B

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

วิ่งยังไง.

ข้ามงานแบบ Zero-shot

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

ไฟน์จูน

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42