few shot lm

語言模型是少數多語言學習者

紙

這是論文[Arxiv][ACL Anthology]的原始碼：

該程式碼是使用 PyTorch 編寫的。如果您在工作中使用此工具包中包含的原始程式碼或資料集，請引用以下論文：

 @inproceedings{winata-etal-2021-語言，
    title =“語言模式是少數多語言學習者”，
    作者=“Winata、Genta Indra 和
      馬多托、安德里亞和
      林兆江和
      劉、羅珊和
      約辛斯基、傑森和
      馮·帕斯卡爾”,
    booktitle =“第一屆多語言表徵學習研討會論文集”，
    月份 = 十一月，
    年份=“2021”，
    地址=“多明尼加共和國蓬塔卡納”，
    出版商=“計算語言學協會”，
    url =“https://aclanthology.org/2021.mrl-1.1”，
    頁數=“1--15”，
}

設定環境

GPU機器

pip install -r requirements.txt

用於運行 GPT-J 6B 模型的 GPU 機器

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

如何跑

零樣本交叉任務

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

微調

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42