sail bli

Парус

Этот репозиторий является официальной внедрением Pytorch в следующей статье:

Яояран Ли, Анна Корхонен и Иван Вулич. 2024 .​​ В материалах 62 -го годового собрания Ассоциации вычислительной лингвистики (ACL 2024). [Бумага]

Парус направлен на улучшение неконтролируемого перевода слов / двуязычной индукции лексикона (BLI) путем (1) вывода словаря перевода с высокой достоверностью с нулевым побуждением, (2) , затем, необязательно усовершенствование словаря с высокой достоверностью, итеративно с несколькими выстрелами, где побуждает, с несколькими высказы Примеры в контексте взяты из словаря с высокой уверенностью в предыдущей итерации, и (3) , наконец, проводя оценку на тестовом наборе BLI с небольшим выстрелом, также выведенным в контекстовые образцы из последнего словаря с высокой уверенностью. Весь процесс не использует любые пары перевода слов с истинной истинностью для обучения/нескольких выстрелов и улучшает оценки BLI, как правило, на 10 ~ 15 точке@1 точки на наших тестах BLI по сравнению с нулевым выстрелом.

Зависимости

• Pytorch> = 1,10.1
• Трансформаторы> = 4,28.1
• OpenAI> = 1.28.1 (необязательно)

Данные

После нашей предыдущей работы Contrastivebli, Blicer и ractple4bli наши данные получены из Xling (8 языков, всего 56 направлений BLI) и Panlex-Bli (15 языков с более низким ресурсом, 210 направлений BLI в общей сложности).

Получите Xling Data:

sh get_xling_data.sh

Для Panlex-Bli, пожалуйста, см.

Запустите код

Подготовьте словарь BLI:

python run_extract_vocabularies.py

Запустите оценку BLI с помощью SAIL (определите ключевые гиперпараметры, каталоги и языковые пары, чтобы оценить вручную в run_bli.py):

python run_bli.py

(Необязательно) Запустите базовую линию с нулевым выстрелом, представленная в recaff4bli с моделями Llama:

python run_zero_shot.py

(Необязательно) Запустите базовую линию с нулевым выстрелом, представленная в recaff4bli с моделями CHATGPT:

python run_zero_shot_chatgpt.py

LLMS используется в нашей работе

Основные эксперименты (парус):

Наши основные эксперименты включают четыре предварительно предварительно проведенные модели Llama без настройки инструкции.

LLM	(Обнимающееся лицо) идентификатор модели
Лама-7B	"Huggyllama/Llama-7b"
Лама-13b	"Hurgylama/Llama-13b"
Llama2-7B	"Метама/лама-2-7B-HF"
Llama2-13b	"Метамалама/лама-2-13b-HF"

Обновление: Llama3-8b meta-llama/Meta-Llama-3-8B также поддерживается в нашем кодовом репо.

Дополнительные эксперименты CHATGPT (только нулевые выстрелы, соответствующие разделу 4.2 нашей статьи):

Поскольку настройка инструкции моделей CATGPT, вероятно, будет охватывать крупномасштабные параллельные данные для машинного перевода, они не подходят для неконтролируемого BLI (кроме того, RLHF также может включать сигналы надзора от перевода на уровне слов/предложения от аннотаторов/пользователей. ) Мы сообщаем о результатах CHATGPT, полученных с нулевым выстрелом, только в качестве ссылки.

LLM	(OpenAI API) идентификатор модели
GPT-3.5	"GPT-3.5-Turbo-0125"
GPT-4	"GPT-4-Turbo-2024-04-09"

Самоупомянутые словаря с высокой уверенностью

Мы также выпускаем самостоятельные словари, полученные с Llama2-13B, как обсуждалось в разделе 4.2 нашей газеты по адресу ./augmenteddicts-lama2-13B. Эти словары с высокой достоверностью выводятся с n _it = 1, n _f = 5000 и с обратным трансляцией слова.

Цитирование

Пожалуйста, процитируйте нашу газету, если вы найдете Sail-Bli полезным.

 @inproceedings { li-etal-2024-self-augmented ,
    title     = { Self-Augmented In-Context Learning for Unsupervised Word Translation } ,
    author    = { Li, Yaoyiran and Korhonen, Anna and Vuli{'c}, Ivan } ,
    booktitle = { Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics } ,    
    year      = { 2024 }
}