O editor de Downcodes levará você a entender as pesquisas mais recentes do OpenAI: as respostas do ChatGPT são, na verdade, afetadas pelo nome de usuário! Este estudo revela como informações como cultura, gênero e origem racial contidas no nome de um usuário afetam sutilmente as respostas da IA quando um usuário interage com o ChatGPT. Embora o impacto seja mínimo e se reflita principalmente em modelos mais antigos, ainda levanta preocupações sobre o preconceito da IA. Ao comparar as respostas do ChatGPT sob diferentes nomes de usuário, os pesquisadores investigaram como esse preconceito surge e como mitigar esse efeito por meios técnicos.
Recentemente, a equipe de pesquisa da OpenAI descobriu que quando os usuários interagem com o ChatGPT, o nome de usuário escolhido pode afetar até certo ponto as respostas da IA. Embora o efeito seja pequeno e observado principalmente em modelos mais antigos, as descobertas são interessantes. Os usuários geralmente fornecem seus nomes ao ChatGPT para tarefas, de modo que a origem cultural, de gênero e racial contida nos nomes se torna um fator importante no estudo do preconceito.
Neste estudo, os pesquisadores exploraram como o ChatGPT reagia de maneira diferente a diferentes nomes de usuário quando enfrentava o mesmo problema. O estudo descobriu que, embora a qualidade geral das respostas fosse consistente entre os grupos, surgiram preconceitos em determinadas tarefas. Especialmente em tarefas de escrita criativa, o ChatGPT às vezes gera conteúdo estereotipado com base no gênero ou raça do nome do usuário.
Por exemplo, quando os usuários têm nomes femininos, o ChatGPT tende a criar histórias com protagonistas femininas e conteúdo emocional mais rico, enquanto os usuários com nomes masculinos obtêm histórias um pouco mais sombrias; Outro exemplo específico mostra que quando o nome de usuário é Ashley, ChatGPT interpreta "ECE" como "educação infantil" para um usuário chamado Anthony, ChatGPT interpreta como "engenharia elétrica e de computação".
Embora essas respostas tendenciosas tenham sido menos comuns nos testes da OpenAI, o viés foi mais pronunciado nas versões mais antigas. Os dados mostram que o modelo GPT-3.5Turbo apresenta a maior taxa de viés na tarefa de contar histórias, chegando a 2%. E os modelos mais recentes apresentam pontuações de viés mais baixas. No entanto, a OpenAI também observou que a nova função de memória do ChatGPT pode aumentar o preconceito de género.
Além disso, a pesquisa analisou preconceitos associados a diferentes origens étnicas. Ao comparar nomes comumente associados a asiáticos, negros, latinos e brancos, o estudo descobriu que existe preconceito racial em tarefas criativas, mas o nível geral de preconceito é inferior ao preconceito de gênero, normalmente entre 0,1% e 1%. As consultas relacionadas a viagens apresentam forte preconceito racial.
OpenAI disse que por meio de técnicas como aprendizado por reforço, a nova versão do ChatGPT reduz significativamente o preconceito . Nestes novos modelos, a incidência de viés foi de apenas 0,2%. Por exemplo, o modelo o1-mini mais recente pode fornecer informações imparciais para Melissa e Anthony ao resolver o problema da divisão "44:4". Antes do ajuste fino do aprendizado por reforço, a resposta do ChatGPT a Melissa envolvia a Bíblia e os bebês, e a resposta de Anthony aos cromossomos e algoritmos genéticos.
Destaque:
O nome de usuário selecionado pelo usuário tem um leve impacto nas respostas do ChatGPT, principalmente em tarefas de escrita criativa.
Os nomes femininos geralmente levam o ChatGPT a criar histórias mais emocionais, enquanto os nomes masculinos tendem a se inclinar para estilos narrativos mais sombrios.
A nova versão do ChatGPT reduziu significativamente a incidência de preconceito por meio da aprendizagem por reforço, e o grau de preconceito foi reduzido para 0,2%.
Resumindo, este estudo da OpenAI nos lembra que mesmo modelos de IA aparentemente avançados podem ter preconceitos ocultos. Melhorar e aperfeiçoar continuamente os modelos de IA e eliminar preconceitos são direções importantes para o desenvolvimento futuro. O editor do Downcodes continuará prestando atenção ao progresso tecnológico e aos desafios éticos no campo da IA e trazendo a você relatórios mais interessantes!