biased rulers
Uma pesquisa sobre quantificação de preconceitos em modelos de linguagem pré-treinados
Métricas
-
metrics.seat : Implementações do SEAT e variações do SEAT por Lauscher et al. (2021) e Tan et al. (2019). -
metrics.disco : Implementação do DisCo. -
metrics.lpbs : Implementação da pontuação de viés de probabilidade de log .
Cadernos
-A pasta notebooks contém subpastas LM_correlations, correlações de sublistas, winobias
- LM_correlations: contém resultados de correlação sobre como diferentes tipos de modelos e tipos de incorporação se correlacionam com base em pontuações de diferentes modelos de linguagem.
- sublist_correlations: contém resultados de correlação sobre como diferentes tipos de modelos e tipos de incorporação se correlacionam com base nas pontuações de diferentes sublistas de trabalhos.
- correlação_análise*.ipynb em cada pasta contém os resultados dos experimentos de correlação
- Os códigos utilizados para os experimentos de Winobias são adotados diretamente de Manela et al. (2021) https://github.com/12kleingordon34/NLP_masters_project
