biased rulers
แบบสำรวจเรื่องอคติเชิงปริมาณในแบบจำลองภาษาที่ได้รับการฝึกล่วงหน้า
เมตริก
-
metrics.seat : การใช้งาน SEAT และการเปลี่ยนแปลงของ SEAT โดย Lauscher และคณะ (2021) และ Tan และคณะ (2019) -
metrics.disco : การใช้งาน DisCo -
metrics.lpbs : การนำบันทึก คะแนนอคติของความน่าจะเป็นไปใช้
โน๊ตบุ๊ค
- โฟลเดอร์โน้ตบุ๊กประกอบด้วยโฟลเดอร์ย่อย LM_correlations, ความสัมพันธ์ของรายการย่อย, winobias
- LM_correlations: ประกอบด้วยผลลัพธ์ความสัมพันธ์ว่าประเภทเทมเพลตและประเภทการฝังที่แตกต่างกันมีความสัมพันธ์กันอย่างไร โดยพิจารณาจากคะแนนจากแบบจำลองภาษาที่ต่างกัน
- sublist_correlations: มีผลความสัมพันธ์ว่าประเภทเทมเพลตและประเภทการฝังที่แตกต่างกันมีความสัมพันธ์กันอย่างไร โดยพิจารณาจากคะแนนจากรายการย่อยของงานที่แตกต่างกัน
- correlation_analysis*.ipynb ในแต่ละโฟลเดอร์จะมีผลลัพธ์จากการทดสอบความสัมพันธ์
- รหัสที่ใช้สำหรับการทดลอง Winobias ถูกนำมาใช้โดยตรงจาก Manela และคณะ (2021) https://github.com/12kleingordon34/NLP_masters_project
