biased rulers
Una encuesta sobre la cuantificación de sesgos en modelos de lenguaje previamente entrenados
Métrica
-
metrics.seat : Implementaciones de SEAT y variaciones de SEAT por Lauscher et al. (2021) y Tan et al. (2019). -
metrics.disco : Implementación de DisCo. -
metrics.lpbs : Implementación de la puntuación de sesgo de probabilidad logarítmica .
Cuadernos
-La carpeta de cuadernos contiene subcarpetas LM_correlations, sublista de correlaciones, winobias
- LM_correlations: contiene resultados de correlación sobre cómo se correlacionan los diferentes tipos de plantillas y tipos de incrustación en función de las puntuaciones de diferentes modelos de lenguaje.
- sublist_correlations: contiene resultados de correlación sobre cómo se correlacionan los diferentes tipos de plantillas y tipos de incrustación en función de las puntuaciones de diferentes sublistas de trabajos.
- correlación_analysis*.ipynb en cada carpeta contiene los resultados de los experimentos de correlación
- Los códigos utilizados para los experimentos de Winobias se adoptaron directamente de Manela et al. (2021) https://github.com/12kleingordon34/NLP_masters_project
