biased rulers

biased rulers

مسح حول قياس التحيزات في نماذج اللغة المدربة مسبقًا

المقاييس

• metrics.seat : تطبيقات SEAT، والاختلافات في SEAT بواسطة Lauscher et al. (2021) وتان وآخرون. (2019).
• metrics.disco : تنفيذ DisCo.
• metrics.lpbs : تنفيذ سجل نقاط التحيز الاحتمالية .

دفاتر الملاحظات

- يحتوي مجلد دفاتر الملاحظات على مجلدات فرعية LM_correlations، وارتباطات القائمة الفرعية، وwinobias

• LM_correlations: يحتوي على نتائج الارتباط حول كيفية ارتباط أنواع القوالب المختلفة وأنواع التضمين بناءً على الدرجات من نماذج اللغة المختلفة.
• sublist_correlations: يحتوي على نتائج الارتباط حول كيفية ارتباط أنواع القوالب المختلفة وأنواع التضمين بناءً على الدرجات من قائمة فرعية مختلفة للوظائف.
• يحتوي تحليل الارتباط*.ipynb في كل مجلد على نتائج تجارب الارتباط
• تم اعتماد الرموز المستخدمة في تجارب Winobias مباشرةً من Manela et al. (2021) https://github.com/12kleingordon34/NLP_masters_project