sail bli

세일 블리

이 저장소는 다음 논문의 공식 Pytorch 구현입니다.

Yaoyiran Li, Anna Korhonen 및 Ivan Vulić. 2024. S ELF- 감독 되지 않은 단어 번역을 위해 수입을 얻는 Umented i n-context l . 제 62 차 연례 연례 회의에서 계산 언어 협회 (ACL 2024). [종이]

Sail은 (1) 제로 샷 프롬프트로 고 자신감이있는 단어 번역 사전을 유추하여 감독되지 않은 단어 번역 / 이중 언어 사전 유도 (BLI)를 개선하는 것을 목표로합니다. 텍스트 내 예제는 이전 반복의 고문 사전에서 나온 것이며 (3) 최신 고문 사전에서 텍스트 내 샘플을 도출하는 소수의 샷과 함께 BLI 테스트 세트에 대한 평가를 수행합니다. 전체 프로세스는 훈련/소수의 샷 학습을위한 지상진 단어 변환 쌍을 활용하지 않으며 BLI 벤치 마크에서 제로 샷 프롬프트와 비교하여 BLI 점수를 10 ~ 15 정밀도@1 점으로 향상시킵니다.

의존성

• Pytorch> = 1.10.1
• 변압기> = 4.28.1
• OpenAi> = 1.28.1 (선택 사항)

데이터

이전 작업 대비 대비, 블리커 및 프롬프트 4BLI에 이어 데이터는 Xling (8 언어, 총 56 개의 BLI 방향) 및 PANLEX-BLI (15 개의 하위 자원 언어, 총 210 개의 BLI 방향)에서 얻습니다.

Xling 데이터 가져 오기 :

sh get_xling_data.sh

Panlex-Bli의 경우 ./get_panlex_data를 참조하십시오. 여기서 단일 단어 임베드를 도출하기위한 코드를 제공합니다.

코드를 실행하십시오

BLI 어휘 준비 :

python run_extract_vocabularies.py

SAIL을 사용하여 BLI 평가를 실행합니다 (Key Hyper-Parameters, 디렉토리 및 언어 쌍을 정의하여 Run_Bli.py에서 수동으로 평가) :

python run_bli.py

(선택 사항) LLAMA 모델과 함께 Prompt4BLI에 도입 된 기준을 제로 샷 프롬프트합니다.

python run_zero_shot.py

(선택 사항) Chatgpt 모델과 함께 Prompt4Bli에 도입 된 기준을 제로 샷 프롬프트합니다.

python run_zero_shot_chatgpt.py

우리의 작업에 사용 된 LLM

주요 실험 (SAIL) :

우리의 주요 실험에는 교육 조정이없는 4 개의 사전 배치 된 라마 모델이 포함됩니다.

LLM	(포옹) 모델 ID
llama-7b	"huggyllama/llama-7b"
llama-13b	"huggyllama/llama-13b"
llama2-7b	"메타-롤라/라마 -2-7B-HF"
llama2-13b	"메타-롤라/라마 -2-13B-HF"

업데이트 : LLAMA3-8B meta-llama/Meta-Llama-3-8B 도 현재 코드 리포지토리에서 지원됩니다.

추가 chatgpt 실험 (논문의 4.2 절에 해당하는 제로 샷 프롬프트 만) : :

ChatGpt 모델의 명령 조정은 기계 번역에 대한 대규모 병렬 데이터를 다룰 가능성이 높기 때문에 감독되지 않은 BLI에 적합 하지 않습니다 (또한 RLHF에는 주석기/사용자의 Word/Sentence 수준 번역의 감독 신호가 포함될 수 있습니다. ). 우리는 참조로만 제로 샷 프롬프트로 파생 된 chatgpt 결과를보고합니다.

LLM	(OpenAI API) 모델 ID
GPT-3.5	"GPT-3.5-Turbo-0125"
GPT-4	"GPT-4-Turbo-2024-04-09"

자체 제작 된 고음 사전

우리는 또한 논문의 섹션 4.2에서 ./augmenteddicts-llama2-13b에서 논의 된 바와 같이 LLAMA2-13B로 파생 된 자체 제작 사전을 발표합니다. 이 고 자신감 사전은 n _it = 1, n _f = 5000으로 유추되고 단어 배송으로 추론됩니다.

소환

Sail-Bli가 유용하다고 생각되면 논문을 인용하십시오.

 @inproceedings { li-etal-2024-self-augmented ,
    title     = { Self-Augmented In-Context Learning for Unsupervised Word Translation } ,
    author    = { Li, Yaoyiran and Korhonen, Anna and Vuli{'c}, Ivan } ,
    booktitle = { Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics } ,    
    year      = { 2024 }
}