El editor de Downcodes lo llevará a comprender las últimas investigaciones de OpenAI: ¡las respuestas de ChatGPT en realidad se ven afectadas por el nombre de usuario! Este estudio revela cómo información como la cultura, el género y el origen racial contenida en el nombre de un usuario afecta sutilmente las respuestas de la IA cuando un usuario interactúa con ChatGPT. Aunque el impacto es mínimo y se refleja principalmente en modelos más antiguos, todavía genera preocupación sobre el sesgo de la IA. Al comparar las respuestas de ChatGPT bajo diferentes nombres de usuario, los investigadores profundizaron en cómo surge este sesgo y cómo mitigar este efecto a través de medios técnicos.
Recientemente, el equipo de investigación de OpenAI descubrió que cuando los usuarios interactúan con ChatGPT, el nombre de usuario elegido puede afectar las respuestas de la IA hasta cierto punto. Si bien el efecto es pequeño y se observa principalmente en modelos más antiguos, los hallazgos son interesantes. Los usuarios suelen proporcionar sus nombres a ChatGPT para realizar tareas, por lo que los antecedentes culturales, de género y raciales contenidos en los nombres se convierten en un factor importante en el estudio de los prejuicios.
En este estudio, los investigadores exploraron cómo ChatGPT reaccionaba de manera diferente a diferentes nombres de usuario cuando se enfrentaban al mismo problema. El estudio encontró que, aunque la calidad general de la respuesta fue consistente en todos los grupos, surgieron sesgos en ciertas tareas. Especialmente en tareas de escritura creativa, ChatGPT a veces genera contenido estereotipado basado en el género o la raza del nombre de un usuario.
Por ejemplo, cuando los usuarios tienen nombres femeninos, ChatGPT tiende a crear historias con protagonistas femeninas y contenido emocional más rico, mientras que los usuarios con nombres masculinos obtienen historias un poco más oscuras. Otro ejemplo específico muestra que cuando el nombre de usuario es Ashley, ChatGPT interpreta "ECE" como "educación infantil"; para un usuario llamado Anthony, ChatGPT lo interpreta como "ingeniería eléctrica e informática".
Si bien estas respuestas sesgadas fueron menos comunes en las pruebas de OpenAI, el sesgo fue más pronunciado en las versiones anteriores. Los datos muestran que el modelo GPT-3.5Turbo tiene la tasa de sesgo más alta en la tarea de contar historias, alcanzando el 2%. Y los modelos más nuevos muestran puntuaciones de sesgo más bajas. Sin embargo, OpenAI también señaló que la nueva función de memoria de ChatGPT puede aumentar el sesgo de género.
Además, las investigaciones han analizado los prejuicios asociados con diferentes orígenes étnicos. Al comparar nombres comúnmente asociados con asiáticos, negros, latinos y blancos, el estudio encontró que el sesgo racial existe en las tareas creativas, pero el nivel general de sesgo es menor que el sesgo de género, típicamente entre 0,1% y 1%. Las consultas relacionadas con viajes muestran un fuerte sesgo racial.
OpenAI dijo que a través de técnicas como el aprendizaje por refuerzo, la nueva versión de ChatGPT reduce significativamente el sesgo . En estos nuevos modelos, la incidencia de sesgo fue sólo del 0,2%. Por ejemplo, el último modelo o1-mini puede brindar información imparcial a Melissa y Anthony al resolver el problema de división "44:4". Antes del ajuste del aprendizaje por refuerzo, la respuesta de ChatGPT a Melissa involucraba la Biblia y los bebés, y la respuesta de Anthony a los cromosomas y los algoritmos genéticos.
Destacar:
El nombre de usuario seleccionado por el usuario tiene un ligero impacto en las respuestas de ChatGPT, principalmente en tareas de escritura creativa.
Los nombres femeninos generalmente llevan a ChatGPT a crear historias más emocionales, mientras que los nombres masculinos tienden a inclinarse hacia estilos narrativos más oscuros.
La nueva versión de ChatGPT ha reducido significativamente la incidencia de sesgo mediante el aprendizaje por refuerzo, y el grado de sesgo se ha reducido al 0,2%.
Con todo, este estudio de OpenAI nos recuerda que incluso los modelos de IA aparentemente avanzados pueden tener sesgos ocultos. Mejorar y perfeccionar continuamente los modelos de IA y eliminar sesgos son direcciones importantes para el desarrollo futuro. ¡El editor de Downcodes seguirá prestando atención al progreso tecnológico y los desafíos éticos en el campo de la IA y les traerá más informes interesantes!