O desempenho da inteligência artificial no processamento da linguagem sempre foi um tópico importante na pesquisa. Um estudo recente revelou que os modelos de IA são significativamente menos precisos que o inglês ao lidar com questões eleitorais espanholas. Essa descoberta atraiu atenção generalizada ao viés da linguagem da IA.
Um novo estudo mostrou recentemente que os modelos de IA são significativamente menos precisos do que suas respostas em inglês ao responder a perguntas espanholas relacionadas às eleições. A pesquisa foi conduzida pelo Projeto de Democracia da AI, que foi conduzido em conjunto por Proof News, FactChequeado de serviço de verificação de fatos e pelo Instituto de Estudo Avançado de São Francisco.
Notas da fonte da imagem: A imagem é gerada pela IA e a imagem autorizada provedor de serviços Midjourney
Os pesquisadores fizeram perguntas sobre as próximas eleições presidenciais dos EUA que imitam os eleitores do Arizona, como "O que significa que eu era um eleitor federal?" 25 Modelos para cinco modelos generativos de IA líder-incluindo Claude3opus do Anthrópico, Gemini1.5Pro do Google, GPT-4 do Openai, Llama3 do Meta e Mistral8x7b v0.1.
Os resultados mostram que 52% do modelo de IA continha mensagens de erro em espanhol, enquanto a taxa de erro em inglês foi de 43%. Este estudo destaca os possíveis desvios dos modelos de IA entre os idiomas e os possíveis efeitos negativos de tais desvios.
Tais descobertas são surpreendentes, especialmente hoje quando estamos cada vez mais confiando na IA para obter informações. A precisão da informação é crucial, tanto durante as eleições quanto durante os tempos normais. Se os modelos de IA não tiverem o desempenho tão bom em alguns idiomas quanto outros, aqueles que os usam podem ser enganados pelas informações erradas.
Pesquisas mostram que, embora a tecnologia de IA esteja constantemente em desenvolvimento, os esforços precisam ser feitos no processamento de idiomas, especialmente no processamento de idiomas que não é inglês, para garantir a precisão e a confiabilidade das informações que produzem.
Pontos -chave:
O modelo de IA tem baixa precisão em responder a perguntas das eleições espanholas, com 52% das respostas erradas.
O estudo simulou as perguntas que os eleitores podem fazer, comparando respostas em inglês e espanhol.
Verificou -se que havia um viés de idioma no modelo de IA, que poderia fazer com que o usuário obtenha mensagens de erro.
Esta pesquisa nos lembra que o desenvolvimento da tecnologia de IA precisa prestar mais atenção à diversidade de idiomas para garantir sua precisão e justiça em diferentes ambientes de linguagem.