biased rulers
Survei tentang Mengukur Bias dalam Model Bahasa yang Telah Dilatih Sebelumnya
Metrik
-
metrics.seat : Implementasi SEAT, dan variasi SEAT oleh Lauscher et al. (2021) dan Tan dkk. (2019). -
metrics.disco : Implementasi DisCo. -
metrics.lpbs : Penerapan skor bias probabilitas log .
buku catatan
-Folder buku catatan berisi subfolder LM_correlations, sublist korelasi, winobias
- LM_correlations: berisi hasil korelasi tentang bagaimana berbagai jenis templat dan jenis penyematan berkorelasi berdasarkan skor dari model bahasa yang berbeda.
- sublist_correlations: berisi hasil korelasi tentang bagaimana berbagai jenis templat dan jenis penyematan berkorelasi berdasarkan skor dari berbagai subdaftar pekerjaan.
- korelasi_analisis*.ipynb di setiap folder berisi hasil percobaan korelasi
- Kode yang digunakan untuk eksperimen Winobias diadopsi langsung dari Manela dkk. (2021) https://github.com/12kleingordon34/NLP_masters_project
