biased rulers

biased rulers

预训练语言模型中量化偏差的调查

指标

• metrics.seat ：SEAT 的实现以及 Lauscher 等人的 SEAT 变体。 （2021）和 Tan 等人。 （2019）。
• metrics.disco ：DisCo 的实现。
• metrics.lpbs ：对数概率偏差分数的实现。

笔记本电脑

-notebooks 文件夹包含子文件夹 LM_correlations、子列表相关性、winobias

• LM_correlations：包含不同模板类型和嵌入类型如何根据不同语言模型的分数进行关联的相关结果。
• sublist_correlations：包含不同模板类型和嵌入类型如何根据不同作业子列表的分数进行关联的相关结果。
• 每个文件夹中的相关分析*.ipynb 包含相关实验的结果
• Winobias 实验使用的代码直接采用自 Manela 等人。 (2021) https://github.com/12kleingordon34/NLP_masters_project