biased rulers

biased rulers

사전 훈련된 언어 모델의 편향 정량화에 관한 설문 조사

측정항목

• metrics.seat : SEAT 구현 및 Lauscher et al의 SEAT 변형. (2021) 및 Tan et al. (2019).
• metrics.disco : DisCo 구현.
• metrics.lpbs : 로그 확률 편향 점수 구현.

노트북

-노트북 폴더에는 하위 폴더 LM_correlations, 하위 목록 상관 관계, winobias가 포함되어 있습니다.

• LM_correlations: 다양한 언어 모델의 점수를 기반으로 다양한 템플릿 유형과 임베딩 유형의 상관 관계에 대한 상관 관계 결과가 포함되어 있습니다.
• sublist_correlations: 다양한 작업 하위 목록의 점수를 기반으로 다양한 템플릿 유형과 임베딩 유형의 상관 관계에 대한 상관 관계 결과가 포함되어 있습니다.
• 각 폴더의 Correlation_analytic*.ipynb에는 상관 관계 실험의 결과가 포함되어 있습니다.
• Winobias 실험에 사용된 코드는 Manela et al.에서 직접 채택되었습니다. (2021) https://github.com/12kleingordon34/NLP_masters_project