few shot lm

언어 모델은 소수의 다국어 학습자입니다

종이

이것은 논문 [Arxiv] [ACL Anthology]의 소스 코드입니다:

이 코드는 PyTorch를 사용하여 작성되었습니다. 이 툴킷에 포함된 소스 코드나 데이터 세트를 작업에 사용하는 경우 다음 논문을 인용하십시오.

 @inproceedings{winata-etal-2021-언어,
    title = "언어 모델은 소수의 다국어 학습자입니다",
    저자 = "위나타, 겐타 인드라 그리고
      마도토, 안드레아
      린(Lin), 자오장(Zhaojiang) 및
      리우, 로잔느 그리고
      요신스키, 제이슨,
      펑, 파스칼",
    booktitle = "제1회 다언어 표현학습 워크숍 진행과정",
    월 = 11월,
    연도 = "2021",
    주소 = "도미니카 공화국 푼타카나",
    게시자 = "전산 언어학 협회",
    URL = "https://aclanthology.org/2021.mrl-1.1",
    페이지 = "1--15",
}

설치 환경

GPU 머신

pip install -r requirements.txt

GPT-J 6B 모델을 실행하기 위한 GPU 머신

apt install zstd

# the "slim" version contain only bf16 weights and no optimizer parameters, which minimizes bandwidth and memory
wget -c https://the-eye.eu/public/AI/GPT-J-6B/step_383500_slim.tar.zstd

tar -I zstd -xf step_383500_slim.tar.zstd

pip install -r mesh_transformer_jax/requirements.txt

# jax 0.2.12 is required due to a regression with xmap in 0.2.13
pip install mesh-transformer-jax/ jax==0.2.12

# cuda[your_cuda_version]
pip install jaxlib==0.1.67+cuda101 -f https://storage.googleapis.com/jax-releases/jax_releases.html

실행 방법

제로샷 교차 작업

❱❱❱ CUDA_VISIBLE_DEVICES=0 python evaluate.py  --dataset snips --model_checkpoint facebook/bart-large-mnli --cuda --length 5 --label_type value --src_lang en --tgt_lang en --seed 42 --use_log_prob --use_confidence --is_cross_task

미세 조정

❱❱❱ CUDA_VISIBLE_DEVICES=0 python finetune.py  --dataset snips --model_checkpoint bert-base-multilingual-uncased --cuda --label_type value --src_lang en --tgt_lang en --seed 42