few shot lm

Sprachmodelle sind mehrsprachige Lernende mit wenigen Schüssen

Papier

Dies ist der Quellcode des Artikels [Arxiv] [ACL Anthology]:

Dieser Code wurde mit PyTorch geschrieben. Wenn Sie in Ihrer Arbeit Quellcodes oder Datensätze aus diesem Toolkit verwenden, zitieren Sie bitte das folgende Dokument:

 @inproceedings{winata-etal-2021-Language,
    title = „Sprachmodelle sind wenige mehrsprachige Lernende“,
    Autor = „Winata, Genta Indra und
      Madotto, Andrea und
      Lin, Zhaojiang und
      Liu, Rosanne und
      Yosinski, Jason und
      Fung, Pascale",
    booktitle = „Vorträge des 1. Workshops zum mehrsprachigen Repräsentationslernen“,
    Monat = November,
    Jahr = „2021“,
    Adresse = „Punta Cana, Dominikanische Republik“,
    Herausgeber = „Gesellschaft für Computerlinguistik“,
    url = „https://aclanthology.org/2021.mrl-1.1“,
    Seiten = "1--15",
}

Setup-Umgebung

GPU-Maschine

pip install -r requirements.txt

GPU-Maschine zum Ausführen des GPT-J 6B-Modells

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

Wie man läuft

Zero-Shot-Cross-Aufgabe

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

Feinabstimmung

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42