biased rulers

biased rulers

事前学習済み言語モデルにおけるバイアスの定量化に関する調査

メトリクス

• metrics.seat : Lauscher らによる SEAT の実装と SEAT のバリエーション。 （2021）およびTan et al。 （2019年）。
• metrics.disco : DisCo の実装。
• metrics.lpbs :対数確率バイアス スコアの実装。

ノートブック

- ノートブック フォルダーにはサブフォルダー LM_correlations、サブリスト相関、winobias が含まれています

• LM_correlations: さまざまな言語モデルからのスコアに基づいて、さまざまなテンプレート タイプと埋め込みタイプがどのように相関するかに関する相関結果が含まれます。
• sublist_correlations: ジョブのさまざまなサブリストからのスコアに基づいて、さまざまなテンプレート タイプと埋め込みタイプがどのように相関するかに関する相関結果が含まれます。
• 各フォルダー内の correlation_analysis*.ipynb には、相関実験の結果が含まれています
• Winobias の実験に使用されるコードは、Manela らから直接採用されました。 (2021) https://github.com/12kleingordon34/NLP_masters_project