sail bli

เรือใบ

ที่เก็บนี้เป็นการดำเนินการ Pytorch อย่างเป็นทางการของบทความต่อไปนี้:

Yaoyiran Li, Anna Korhonen และ Ivan Vulić 2024. s elf- ugmented i n-context l ที่ได้รับสำหรับการแปลคำที่ไม่ได้รับการดูแล ในการประชุมประจำปีครั้งที่ 62 ของสมาคมเพื่อการคำนวณภาษาศาสตร์ (ACL 2024) [กระดาษ]

การแล่นเรือ มีวัตถุประสงค์เพื่อปรับปรุงการแปลคำศัพท์ / การเหนี่ยวนำคำศัพท์ สอง ภาษา (BLI) โดย (1) การอนุมานพจนานุกรมการแปลคำที่มีความมั่นใจสูงด้วยการกระตุ้นด้วยการกระตุ้นแบบไม่ติดกัน (2) ตัวอย่างในบริบทมาจากพจนานุกรมความมั่นใจสูงในการทำซ้ำก่อนหน้านี้และ (3) ในที่สุดก็ทำการประเมินผลการทดสอบ BLI ที่มีการกระตุ้นด้วยการยิงไม่กี่ครั้งและได้รับตัวอย่างในบริบทจากพจนานุกรมความมั่นใจสูง กระบวนการทั้งหมดไม่ได้ใช้ประโยชน์จากคู่แปลคำจริงสำหรับการฝึกอบรม/การเรียนรู้ไม่กี่นัดและปรับปรุงคะแนน BLI โดยทั่วไป 10 ~ 15 ความแม่นยำ@1 คะแนนสำหรับเกณฑ์มาตรฐาน BLI ของเราเปรียบเทียบกับการกระตุ้นด้วยการยิงแบบศูนย์

การพึ่งพาอาศัยกัน

• pytorch> = 1.10.1
• Transformers> = 4.28.1
• openai> = 1.28.1 (ไม่บังคับ)

ข้อมูล

หลังจากการทำงานก่อนหน้านี้ของเรา contrastivebli, blicer และ prompt4bli ข้อมูลของเราได้มาจาก Xling (8 ภาษา, 56 ทิศทาง BLI ทั้งหมด) และ panlex-bli (15 ภาษาที่มีทรัพยากรต่ำกว่า, 210 ทิศทาง BLI ทั้งหมด)

รับข้อมูล xling:

sh get_xling_data.sh

สำหรับ panlex-bli โปรดดู./get_panlex_data ซึ่งเราให้รหัสสำหรับการฝังคำพูดภาษาเดียว

เรียกใช้รหัส

เตรียมคำศัพท์ BLI:

python run_extract_vocabularies.py

เรียกใช้การประเมิน BLI ด้วย SAIL (กำหนดพารามิเตอร์ไฮเปอร์ไฮเปอร์ไดเรกทอรีและคู่ภาษาเพื่อประเมินด้วยตนเองใน run_bli.py):

python run_bli.py

(ไม่บังคับ) เรียกใช้การแจ้งเป็นศูนย์การสนับสนุนพื้นฐานที่เปิดตัวใน Prompt4bli ด้วยรุ่น Llama:

python run_zero_shot.py

(ไม่บังคับ) เรียกใช้การแจ้งเตือนแบบไม่เป็นศูนย์ที่แนะนำใน Prompt4BLI ด้วยรุ่น ChatGPT:

python run_zero_shot_chatgpt.py

LLMs ใช้ในงานของเรา

การทดลองหลัก (แล่น):

การทดลองหลักของเรารวมถึงรูปแบบ Llama ที่ผ่านการฝึกอบรมสี่แบบโดยไม่ต้องปรับแต่งการเรียนการสอน

llm	(กอดหน้า) รหัสรุ่น
LLAMA-7B	"Huggyllama/llama-7b"
llama-13b	"Huggyllama/llama-13b"
LLAMA2-7B	"Meta-llama/Llama-2-7B-HF"
llama2-13b	"Meta-llama/llama-2-13b-hf"

UPDATE: LLAMA3-8B meta-llama/Meta-Llama-3-8B รองรับในรหัส repo ของเราตอนนี้

การทดลอง chatgpt เพิ่มเติม (เฉพาะการแจ้งเตือนแบบไม่มีการยิงซึ่งสอดคล้องกับส่วนกระดาษของเรา 4.2):

เนื่องจากการปรับแต่งคำสั่งของโมเดล chatgpt มีแนวโน้มที่จะครอบคลุมข้อมูลคู่ขนานขนาดใหญ่สำหรับการแปลเครื่องพวกเขาจึง ไม่ เหมาะสำหรับ BLI ที่ไม่ได้รับการดูแล ). เรารายงานผลลัพธ์ของ CHATGPT ที่ได้มาจากการแจ้งเตือนแบบไม่มีการยิงเป็นข้อมูลอ้างอิงเท่านั้น

llm	(openai api) รหัสรุ่น
GPT-3.5	"GPT-3.5-turbo-0125"
GPT-4	"GPT-4-Turbo-20124-04-09"

พจนานุกรมความมั่นใจสูง Augmented

นอกจากนี้เรายังเปิดตัวพจนานุกรมที่ได้รับการช่วยเหลือตนเองที่ได้รับจาก LLAMA2-13B ตามที่กล่าวไว้ในมาตรา 4.2 ของบทความของเราที่ ./AugmentedDicts-llama2-13b พจนานุกรมที่มีความมั่นใจสูงเหล่านี้อนุมานด้วย n _มัน = 1, n _f = 5000 และด้วยคำพูดย้อนกลับ

การอ้างอิง

โปรดอ้างอิงกระดาษของเราหากคุณพบว่า Sail Bli มีประโยชน์

 @inproceedings { li-etal-2024-self-augmented ,
    title     = { Self-Augmented In-Context Learning for Unsupervised Word Translation } ,
    author    = { Li, Yaoyiran and Korhonen, Anna and Vuli{'c}, Ivan } ,
    booktitle = { Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics } ,    
    year      = { 2024 }
}