biased rulers
Опрос по количественной оценке предвзятостей в предварительно обученных языковых моделях
Метрики
-
metrics.seat : реализации SEAT и варианты SEAT, разработанные Lauscher et al. (2021) и Тан и др. (2019). -
metrics.disco : реализация DisCo. -
metrics.lpbs : Реализация логарифмической оценки вероятности смещения .
Ноутбуки
-Папка записных книжек содержит подпапки LM_correlations, корреляции подсписков, winobias
- LM_correlations: содержит результаты корреляции того, как различные типы шаблонов и типы внедрения коррелируют на основе оценок разных языковых моделей.
- sublist_correlations: содержит результаты корреляции того, как разные типы шаблонов и типы внедрения коррелируют на основе оценок из разных подсписков заданий.
- корреляция_анализ*.ipynb в каждой папке содержит результаты корреляционных экспериментов
- Коды, использованные в экспериментах Winobias, напрямую заимствованы у Manela et al. (2021) https://github.com/12kleingordon34/NLP_masters_project
