Este artículo explora los prejuicios racistas implícitos que acechan en los modelos lingüísticos, específicamente la discriminación contra el inglés afroamericano (AAE). Las investigaciones han descubierto que incluso cuando expresan actitudes positivas en la superficie, los modelos lingüísticos en aplicaciones prácticas todavía reflejan sesgos implícitos que se superponen en gran medida con los estereotipos más negativos del pasado, como la injusticia en las asignaciones laborales y las decisiones judiciales. Esto no solo revela las complejas actitudes raciales de la sociedad humana reflejadas en los algoritmos, sino que también resalta la necesidad de prestar atención y abordar posibles problemas de sesgo al desarrollar y aplicar modelos de lenguaje para garantizar la justicia y la seguridad técnicas.
En la era actual de rápido desarrollo tecnológico, los modelos lingüísticos se han convertido en una herramienta indispensable en nuestras vidas. Estos modelos tienen aplicaciones que van desde ayudar a los profesores a planificar lecciones hasta responder preguntas sobre leyes fiscales y predecir el riesgo de muerte de un paciente antes de ser dado de alta del hospital.
Sin embargo, a medida que su importancia en la toma de decisiones continúa aumentando, también debemos preocuparnos de si estos modelos pueden reflejar inadvertidamente prejuicios humanos latentes en los datos de capacitación, exacerbando así la discriminación racial, de género y otros grupos marginados.
Si bien las primeras investigaciones sobre IA revelaron prejuicios contra los grupos raciales, se centraron principalmente en la discriminación racial explícita, es decir, referencias directas a una raza y sus estereotipos correspondientes. A medida que la sociedad se desarrolla, los sociólogos han propuesto un concepto nuevo y más encubierto de racismo llamado "racismo implícito". Esta forma ya no se caracteriza por una discriminación racial directa, sino que se basa en una ideología racista "incolora" que evita mencionar la raza pero aún mantiene creencias negativas sobre las personas de color.
Este estudio es el primero en revelar que los modelos lingüísticos también transmiten el concepto de racismo implícito hasta cierto punto, particularmente cuando se juzga a hablantes de inglés afroamericano (AAE). AAE es un dialecto estrechamente ligado a la historia y la cultura de los afroamericanos. Al analizar el desempeño de los modelos lingüísticos frente a la AAE, encontramos que estos modelos exhiben una discriminación dialectal dañina en su toma de decisiones, exhibiendo más estereotipos negativos sobre los afroamericanos que cualquier actitud estereotipada negativa documentada.
En el curso de nuestra investigación, utilizamos un método llamado "disfraz coincidente" para explorar las diferencias en los juicios de los modelos lingüísticos para hablantes de diferentes dialectos comparando textos AAE e inglés americano estándar (SAE). En el proceso, descubrimos que el modelo lingüístico no sólo contenía más estereotipos positivos sobre los afroamericanos en la superficie, sino que también tenía profundos sesgos implícitos que se superponían estrechamente con los estereotipos más negativos del pasado.
Por ejemplo, cuando se pidió a los modelos que relacionaran trabajos con personas que hablaban AAE, tendieron a asignar a estas personas a trabajos de nivel inferior, a pesar de que no se les dijo su raza. Del mismo modo, en un caso hipotético, cuando a los modelos se les pidió que sentenciaran a un asesino que testificó usando AAE, eran significativamente más propensos a favorecer la pena de muerte.
Lo que es aún más preocupante es que algunas prácticas actuales diseñadas para mitigar los prejuicios raciales, como la capacitación mediante retroalimentación humana, en realidad exacerban la brecha entre los estereotipos implícitos y explícitos, permitiendo que salga a la superficie el racismo subyacente. Parece menos obvio, pero continúa existiendo en un nivel más profundo.
Estos hallazgos resaltan la importancia del uso justo y seguro de las tecnologías del lenguaje, especialmente en contextos donde pueden tener profundos impactos en las vidas humanas. Aunque hemos tomado medidas para eliminar el sesgo explícito, el modelo lingüístico todavía muestra discriminación racial implícita contra los hablantes de AAE a través de características dialectales.
Esto no sólo refleja las complejas actitudes raciales en la sociedad humana, sino que también nos recuerda que debemos ser más cuidadosos y sensibles al desarrollar y utilizar estas tecnologías.
Referencia: https://www.nature.com/articles/s41586-024-07856-5
Los hallazgos nos alertan sobre la necesidad de realizar más investigaciones sobre los sesgos en los modelos lingüísticos y el desarrollo de métodos de eliminación de sesgos más eficaces. Sólo así podremos garantizar que la tecnología de inteligencia artificial pueda servir a todos de manera justa y equitativa y evitar exacerbar la injusticia social.