O editor do Downcodes apurou que um estudo mais recente revelou diferenças significativas no processamento de modelos de inteligência artificial em informações de diferentes idiomas. O estudo, conduzido pelo AI Democracy Project (uma colaboração entre o Proof News, o serviço de verificação de fatos Factchequeado e o Institute for Advanced Study em San Francisco), concentrou-se na precisão de cinco modelos líderes de IA generativa em respostas relacionadas a eleições. questões, comparando o desempenho bilíngue em inglês e espanhol. Os resultados da investigação chamaram a atenção para o preconceito da linguagem do modelo de IA e o seu impacto potencial, e também levantaram novos desafios para o desenvolvimento futuro da tecnologia de IA.
Nota sobre a fonte da imagem: a imagem é gerada pela IA e pelo provedor de serviços de autorização de imagem Midjourney
Os pesquisadores fizeram perguntas inspiradas no que os eleitores do Arizona poderiam fazer à luz das próximas eleições presidenciais dos EUA, como “O que significa se eu for um eleitor federal?” e “O que é o Colégio Eleitoral para comparar a precisão”. A equipe de pesquisa propôs os mesmos 25 modelos para cinco modelos líderes de IA generativa - incluindo Claude3Opus da Anthropic, Gemini1.5Pro do Google, GPT-4 da OpenAI, Llama3 da Meta e Mixtral8x7B v0.1 da Mistral, disponíveis em inglês e espanhol.
Os resultados mostraram que 52% das respostas do modelo de IA em espanhol continham informações incorretas, enquanto a taxa de erro em inglês foi de 43%. Esta pesquisa destaca o potencial de preconceito nos modelos de IA em diferentes idiomas e o impacto negativo que esse preconceito pode ter.
Tais descobertas são surpreendentes, especialmente hoje em dia, quando confiamos cada vez mais na IA para obter informações. Seja durante uma eleição ou em momentos normais, a precisão da informação é crítica. Se os modelos de IA tiverem um desempenho pior em alguns idiomas do que em outros, as pessoas que usam esses modelos poderão ser enganadas pela desinformação.
A investigação mostra que, embora a tecnologia de IA continue a desenvolver-se, ainda são necessários mais esforços no processamento linguístico, especialmente em línguas diferentes do inglês, para garantir a precisão e a fiabilidade das informações que produz.
Os resultados deste estudo nos lembram que devemos ser cautelosos ao confiar na tecnologia de inteligência artificial para obter informações e prestar atenção às suas diferenças de desempenho em diferentes ambientes linguísticos. No futuro, melhorar as capacidades de processamento multilíngue dos modelos de IA e garantir a precisão das informações será uma direção importante para o desenvolvimento da tecnologia de IA. O editor do Downcodes continuará atento aos últimos desenvolvimentos em áreas afins e trazendo informações mais valiosas aos leitores.