prompt_ate

การแจ้งเตือนความต้องการการสกัดคำใด

1. คำอธิบาย

ใน repo นี้เราใช้งานวิจัยของเราเกี่ยวกับการบังคับใช้ของแบบจำลองภาษาขนาดใหญ่ (LLMS) ในงาน ATE ในการแจ้งเตือนสามรูปแบบ: (1) การตอบสนองแบบติดฉลากลำดับ; (2) การตอบสนองแบบสร้างข้อความ และ (3) เติมช่องว่างของทั้งสองประเภท เราทำการทดลองเกี่ยวกับ Acter Corpora ของสามภาษาและสี่โดเมน ตรวจสอบบทความของเราในการประชุม TSD: ที่นี่

---

2. ข้อกำหนด

โปรดติดตั้งไลบรารีที่จำเป็นทั้งหมดที่ระบุไว้ในข้อกำหนด. txt โดยใช้คำสั่งนี้:

 pip install -r requirements.txt

3. ข้อมูล

การทดลองได้ดำเนินการในชุดข้อมูล ACTER:

	ชุดข้อมูล ACTER
ภาษา	ภาษาอังกฤษฝรั่งเศสและดัตช์
โดเมน	การทุจริต, พลังงานลม, สมการ, หัวใจล้มเหลว

ดาวน์โหลดชุดข้อมูล Acter ที่นี่และบันทึกลงในโฟลเดอร์ Acter

4. การดำเนินการ

4.1 Baseline XLMR แบบติดฉลากลำดับ

โปรดดูผลงานจาก ATE-20122 สำหรับการใช้งานพื้นฐานการติดฉลากลำดับ

4.2 เทมเพลตกินการจัดอันดับ SEQ2SEQ

เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างเทมเพลต:

 cd template_ate /
python gen_template . py

เรียกใช้คำสั่งต่อไปนี้เพื่อฝึกอบรมทุกรุ่น:

 cd template_ate /
chmod + x run . sh
. / run . sh

4.3. GPT-ate พร้อมท์

เพิ่มคีย์ API ของคุณลงใน prompts/prompt_classifier.py และเรียกใช้คำสั่งต่อไปนี้

 cd prompts /
python prompt_classifier . py [ - - data_path ] [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

ที่ไหน:

• --data_path เป็นเส้นทางไปยังไดเรกทอรีข้อมูล
• --lang เป็นภาษาของคลังข้อมูล
• --ver เป็นเวอร์ชันของคลังข้อมูล (Ann หรือ NES);
• --formats เป็นรูปแบบที่ได้รับการออกแบบมา
• --output_path เป็นพา ธ ไปยังไฟล์ CSV เอาต์พุต

เรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้โมเดลทั้งหมด:

 cd prompts /
chmod + x run_prompt . sh
. / run_prompt . sh

สำหรับการประเมินผลให้เรียกใช้คำสั่งต่อไปนี้:

 cd prompts /
python evaluate . py [ - - data_path ] [ - - lang ] [ - - ver ]

ที่ไหน:

• --data_path เป็นเส้นทางไปยังไดเรกทอรีข้อมูล
• --lang เป็นภาษาของคลังข้อมูล
• --ver เป็นเวอร์ชันของคลังข้อมูล (Ann หรือ NES)

เรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้การประเมินทั้งหมด:

 cd prompts /
chmod + x run_eval . sh
. / run_eval . sh

4.4. LLAMA2 แจ้งเตือน

เข้าสู่ระบบ huggingface-clo โดย HuggingFace Tokens ผ่านคำสั่งนี้

huggingface-cli login

และเรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้โมเดล:

 cd prompts /
python llama2 . py [ - - lang ] [ - - ver ] [ - - formats ] [ - - output_path ]

ที่ไหน:

• --lang เป็นภาษาของคลังข้อมูล
• --ver เป็นเวอร์ชันของคลังข้อมูล (Ann หรือ NES);
• --formats เป็นรูปแบบที่ออกแบบมา (1,2 หรือ 3)
• --output_path เป็นพา ธ ไปยังไฟล์ CSV เอาต์พุต

เรียกใช้คำสั่งต่อไปนี้เพื่อเรียกใช้โมเดลทั้งหมด:

 cd prompts /
chmod + x run_llama . sh
. / run_llama . sh 

5. ผลลัพธ์

5.1. Ann Gold Standard

การตั้งค่า	ความแม่นยำภาษาอังกฤษ	การเรียกคืนภาษาอังกฤษ	คะแนน F1 ภาษาอังกฤษ	ความแม่นยำของฝรั่งเศส	การเรียกคืนภาษาฝรั่งเศส	F1-score	ความแม่นยำของชาวดัตช์	การเรียกคืนภาษาดัตช์	ดัตช์ F1 คะแนน
ตัวจําแนกชีวภาพ
รถไฟ: Wind, Equi - Val: Corp	58.6	40.7	48.0	68.8	34.2	45.7	73.5	54.1	62.3
รถไฟ: Corp, Equi - Val: Wind	58.5	49.5	53.6	70.7	41.0	51.9	73.3	59.7	65.8
รถไฟ: Corp, Wind - Val: Equi	58.1	48.1	52.6	70.5	44.4	54.5	70.3	62.2	66.0
เทมพลาเทต
รถไฟ: Wind, Equi - Val: Corp	30.5	24.8	27.4	40.4	26.1	31.7	32.2	45.6	37.8
รถไฟ: Corp, Equi - Val: Wind	24.4	21.3	22.8	31.7	26.6	28.9	29.6	37.4	33.0
รถไฟ: Corp, Wind - Val: Equi	32.5	29.2	30.7	26.9	37.0	31.2	32.7	43.9	37.4
gpt-ate
ในโดเมนรูปแบบไม่กี่นัด #1	10.8	14.4	12.3	11.3	11.6	11.4	18.3	14.1	15.9
ในโดเมนรูปแบบไม่กี่นัด #2	26.6	67.6	38.2	28.5	67.0	40.0	36.8	79.6	50.3
ในโดเมนรูปแบบไม่กี่นัด #3	39.6	48.3	43.5	45.5	50.8	48.0	61.1	56.6	58.8

5.2. มาตรฐานทองคำของ NES

การตั้งค่า	ความแม่นยำภาษาอังกฤษ	การเรียกคืนภาษาอังกฤษ	คะแนน F1 ภาษาอังกฤษ	ความแม่นยำของฝรั่งเศส	การเรียกคืนภาษาฝรั่งเศส	F1-score	ความแม่นยำของชาวดัตช์	การเรียกคืนภาษาดัตช์	ดัตช์ F1 คะแนน
ตัวจําแนกชีวภาพ
รถไฟ: Wind, Equi - Val: Corp	63.0	45.0	52.5	69.4	40.4	51.1	72.9	58.8	65.1
รถไฟ: Corp, Equi - Val: Wind	63.9	50.3	56.3	72.0	47.2	57.0	75.9	58.6	66.1
รถไฟ: Corp, Wind - Val: Equi	62.1	52.1	56.7	72.4	48.5	58.1	73.3	61.5	66.9
เทมพลาเทต
รถไฟ: Wind, Equi - Val: Corp	30.4	31.5	31.0	36.4	39.3	37.8	30.4	45.2	36.4
รถไฟ: Corp, Equi - Val: Wind	27.1	29.6	28.3	31.1	24.2	27.2	41.1	37.8	39.4
รถไฟ: Corp, Wind - Val: Equi	34.7	32.5	33.6	40.7	33.0	36.5	32.2	47.3	38.3
gpt-ate
ในโดเมนรูปแบบไม่กี่นัด #1	10.3	13.1	11.5	10.8	12.0	11.4	14.8	13.2	14.0
ในโดเมนรูปแบบไม่กี่นัด #2	29.2	69.2	41.1	27.9	66.8	39.4	39.8	78.5	52.8
ในโดเมนรูปแบบไม่กี่นัด #3	39.8	53.1	45.5	44.7	54.4	49.1	63.6	60.6	62.1

ผู้มีส่วนร่วม:

• - Tran Thi Hong Hanh?

ใบอนุญาต

• ใบอนุญาต : Creative Commons Attribution-NonCommercial-Sharealike 4.0 International (CC BY-NC-SA 4.0) (https://creativeCommons.org/licenses/by-nc-sa/4.0/)
• การอ้างอิง : โปรดอ้างอิงบทความต่อไปนี้หากคุณใช้วิธีนี้สำหรับการวิจัยของคุณ

 @inproceedings{tran2024prompting,
  title={Is Prompting What Term Extraction Needs?},
  author={Tran, Hanh Thi Hong and González-Gallardo, Carlos-Emiliano and Delauney, Julien and Moreno, Jose and Doucet, Antoine and Pollak, Senja},
  booktitle={27th International Conference on Text, Speech and Dialogue (TSD 2024)},
  year={2024},
  note={Accepted}
}