biased rulers
Une enquête sur la quantification des biais dans les modèles linguistiques pré-entraînés
Métrique
-
metrics.seat : Implémentations de SEAT et variantes de SEAT par Lauscher et al. (2021) et Tan et al. (2019). -
metrics.disco : Implémentation de DisCo. -
metrics.lpbs : Implémentation du score de biais de probabilité logarithmique .
Carnets
-Le dossier notebooks contient les sous-dossiers LM_correlations, sous-liste corrélations, winobias
- LM_correlations : contient des résultats de corrélation sur la façon dont les différents types de modèles et types d'intégration sont corrélés en fonction des scores de différents modèles de langage.
- sublist_correlations : contient des résultats de corrélation sur la façon dont les différents types de modèles et types d'intégration sont corrélés en fonction des scores de différentes sous-listes de tâches.
- corrélation_analysis*.ipynb dans chaque dossier contient les résultats des expériences de corrélation
- Les codes utilisés pour les expériences Winobias sont directement repris de Manela et al. (2021) https://github.com/12kleingordon34/NLP_masters_project
