few shot lm

言語モデルは少数の多言語学習者です

紙

これは論文 [Arxiv] [ACL Anthology] のソース コードです。

このコードは PyTorch を使用して書かれています。このツールキットに含まれるソース コードまたはデータセットを仕事で使用する場合は、次の論文を引用してください。

 @inproceedings{winata-etal-2021-言語、
    title = "言語モデルは少数の多言語学習者です",
    著者 = 「ウィナタ、ゲンタ インドラ、
      マドット、アンドレア、
      林さん、趙江さん、
      リュー、ロザンヌ、
      ヨシンスキー、ジェイソン、
      ファン、パスカル」、
    booktitle = "第 1 回多言語表現学習に関するワークショップ議事録",
    月 = 11 月、
    年 = "2021"、
    住所 = "ドミニカ共和国、プンタカナ",
    出版社 = 「計算言語学協会」、
    URL = "https://aclanthology.org/2021.mrl-1.1",
    ページ = "1--15"、
}

セットアップ環境

GPUマシン

pip install -r requirements.txt

GPT-J 6B モデルを実行するための GPU マシン

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

走り方

ゼロショットクロスタスク

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

微調整

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42