biased rulers

biased rulers

預訓練語言模型中量化偏差的調查

指標

• metrics.seat ：SEAT 的實現以及 Lauscher 等人的 SEAT 變體。 （2021）和 Tan 等人。 （2019）。
• metrics.disco ：DisCo 的實作。
• metrics.lpbs ：對數機率偏差分數的實現。

筆記型電腦

-notebooks 資料夾包含子資料夾 LM_correlations、子清單相關性、winobias

• LM_correlations：包含不同範本類型和嵌入類型如何根據不同語言模型的分數進行關聯的相關結果。
• sublist_correlations：包含不同範本類型和嵌入類型如何根據不同作業子清單的分數進行關聯的相關結果。
• 每個資料夾中的相關分析*.ipynb 包含相關實驗的結果
• Winobias 實驗所使用的程式碼直接採用自 Manela 等人。 (2021) https://github.com/12kleingordon34/NLP_masters_project