aeae

ความมั่นใจมากเกินไปเมื่อเผชิญกับความคลุมเครือด้วยข้อมูลที่เป็นปฏิปักษ์

Aeaeaeaeae

สารบัญ

นี่คือที่เก็บสำหรับกระดาษ:

ความมั่นใจมากเกินไปเมื่อเผชิญกับความคลุมเครือกับข้อมูลที่เป็นปฏิปักษ์ Margaret Li* และ Julian Michael,* การดำเนินการประชุมเชิงปฏิบัติการครั้งแรกเกี่ยวกับการรวบรวมข้อมูลฝ่ายตรงข้ามแบบไดนามิก (DADC) ที่ NAACL 2022

(ตัวย่อที่โง่เขลามาจากชื่อการทำงานดั้งเดิม "การประเมินที่คลุมเครือของการประเมินผลของฝ่ายตรงข้าม")

ในที่เก็บนี้:

• aeae/ : ซอร์สโค้ดสำหรับข้อมูลตัวชี้วัด ฯลฯ
• scripts/ : จุดเริ่มต้นสำหรับการทำนายการประเมินและการผลิตแปลงสำหรับการวิเคราะห์ของเรา

erratum

ในกระดาษเราลืมที่จะพูดถึงว่าข้อมูลไข้ NLI ถูกนำมาใช้ร่วมกับ SNLI และ MNLI เพื่อฝึกอบรมแบบ classical ซึ่งหมายความว่า classical ได้รับการฝึกฝนเกี่ยวกับข้อมูลที่ไม่ได้รวบรวมทั้งหมดซึ่งแบบจำลองเมล็ดพันธุ์สำหรับ ANLI ได้รับการฝึกฝน

การใช้งาน

โครงการนี้ต้องใช้ Python 3 และเขียนโดยใช้ Allennlp และ Pytorch

การตั้งค่าเวิร์กสเตชัน:

• เริ่มต้นด้วย python scripts/download.py จากไดเรกทอรีพื้นฐานเพื่อดาวน์โหลดชุดข้อมูล
• ติดตั้ง Python Dependencies ด้วย pip install -r requirements.txt
• ชุดข้อมูลล่วงหน้าพร้อม python scripts/build_data.py

เพื่อการฝึกอบรมแบบจำลองการตรวจสอบความมีสติ

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

สิ่งนี้จะฝึกอบรมโมเดลในชุดย่อยเล็ก ๆ ของ MNLI โดยใช้ CPU การเปลี่ยนโหมดดังนั้นจึงใช้แหล่งข้อมูลที่แตกต่างกัน (ดู Basic.jsonnet) อุปกรณ์ CUDA จะกำหนดว่า GPU ใดที่ใช้

เอกสาร

อินสแตนซ์ NLI ถูกประมวลผลล่วงหน้าในรูปแบบต่อไปนี้:

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

เอกสารที่เหลือคือสิ่งที่ต้องทำ