biased rulers
Eine Umfrage zur Quantifizierung von Verzerrungen in vorab trainierten Sprachmodellen
Metriken
-
metrics.seat : Implementierungen von SEAT und Variationen von SEAT von Lauscher et al. (2021) und Tan et al. (2019). -
metrics.disco : Implementierung von DisCo. -
metrics.lpbs : Implementierung des Log Probability Bias Score .
Notizbücher
-Der Ordner „Notebooks“ enthält die Unterordner LM_correlations, sublist correlations und winobias
- LM_correlations: enthält Korrelationsergebnisse dazu, wie verschiedene Vorlagentypen und Einbettungstypen basierend auf Bewertungen verschiedener Sprachmodelle korrelieren.
- sublist_correlations: enthält Korrelationsergebnisse dazu, wie verschiedene Vorlagentypen und Einbettungstypen basierend auf Bewertungen aus verschiedenen Unterlisten von Jobs korrelieren.
- Correlation_analysis*.ipynb in jedem Ordner enthält die Ergebnisse der Korrelationsexperimente
- Die für Winobias-Experimente verwendeten Codes sind direkt von Manela et al. übernommen. (2021) https://github.com/12kleingordon34/NLP_masters_project
