Recentemente, uma pergunta de comparação matemática aparentemente simples “Qual é maior, 13,8 ou 13,11?” deixou muitas pessoas perplexas, incluindo alguns modelos avançados de IA. O editor de Downcodes irá levá-lo a se aprofundar neste incidente, analisar as deficiências da IA em lidar com questões de bom senso e a direção de melhorias futuras. Isto não só revela as limitações da tecnologia de IA, mas também desencadeia o pensamento das pessoas sobre o desenvolvimento futuro da IA.
Recentemente, uma simples questão matemática – qual é maior, 13,8 ou 13,11? – não apenas deixou alguns humanos perplexos, mas também colocou muitos modelos de linguagem grandes (LLM) em apuros. Esta questão suscitou uma discussão generalizada sobre a capacidade da IA para lidar com problemas de bom senso.
Em um conhecido programa de variedades, esse assunto gerou discussões acaloradas entre os internautas. Muita gente pensa que 13,11% deveria ser maior que 13,8%, mas na verdade 13,8% é maior.
O pesquisador do AI2, Lin Yuchen, descobriu que mesmo grandes modelos de linguagem, como o GPT-4o, cometem erros neste simples problema de comparação. O GPT-4o acreditou erroneamente que 13.11 era maior que 13.8 e deu a explicação errada.
A descoberta de Lin Yuchen rapidamente despertou discussões acaloradas na comunidade de IA. Muitos outros grandes modelos de linguagem, como Gemini, Claude3.5Sonnet, etc., também cometem o mesmo erro neste simples problema de comparação.
O surgimento deste problema revela as dificuldades que a IA pode encontrar ao lidar com tarefas que parecem simples, mas que na verdade envolvem comparações numéricas precisas.
Embora a inteligência artificial tenha feito progressos significativos em muitos campos, como a compreensão da linguagem natural, o reconhecimento de imagens e a tomada de decisões complexas, ainda pode cometer erros quando se trata de operações matemáticas básicas e raciocínio lógico, mostrando as limitações da tecnologia atual.
Por que a IA comete tais erros?
Viés nos dados de treinamento: Os dados de treinamento do modelo de IA podem não conter exemplos suficientes para lidar corretamente com esse tipo específico de problema de comparação numérica. Se o modelo for exposto a dados durante o treinamento que indiquem principalmente que números maiores sempre têm mais casas decimais, ele poderá interpretar incorretamente mais casas decimais como valores maiores.
Problemas de precisão de ponto flutuante: Na ciência da computação, a representação e o cálculo de números de ponto flutuante envolvem problemas de precisão. Mesmo pequenas diferenças podem causar resultados errados na comparação, especialmente se a precisão não for especificada explicitamente.
Compreensão contextual insuficiente: embora a clareza contextual possa não ser um problema importante neste caso, os modelos de IA muitas vezes precisam interpretar corretamente as informações com base no contexto. Podem ocorrer mal-entendidos se a pergunta for formulada de uma forma que não seja suficientemente clara ou que não corresponda aos padrões comuns à IA nos dados de treinamento.
Impacto do design imediato: a maneira como você faz perguntas a uma IA é fundamental para obter a resposta certa. Diferentes métodos de questionamento podem afetar a compreensão e a precisão das respostas da IA.
Como melhorar?
Dados de treinamento aprimorados: ao fornecer dados de treinamento mais diversificados e precisos, os modelos de IA podem ser ajudados a compreender melhor as comparações numéricas e outros conceitos matemáticos básicos.
Otimize o design do prompt: a formulação de problemas bem projetada pode aumentar a chance de a IA dar a resposta correta. Por exemplo, o uso de representações numéricas e métodos de questionamento mais explícitos pode reduzir a ambiguidade.
Melhore a precisão do processamento numérico: Desenvolva e adote algoritmos e técnicas que lidam com operações de ponto flutuante com mais precisão para reduzir erros computacionais.
Capacidades melhoradas de raciocínio lógico e de senso comum: Através de formação especificamente focada no raciocínio lógico e de senso comum, as capacidades da IA nestas áreas são melhoradas, permitindo-lhe compreender e lidar melhor com tarefas relacionadas com o senso comum.
Em suma, as falhas expostas pela IA no tratamento de problemas simples de comparação matemática lembram-nos que a tecnologia da IA ainda está em fase de desenvolvimento e precisa de melhorias e melhorias contínuas. No futuro, ao optimizar os dados de treino, melhorar os algoritmos e melhorar as capacidades de raciocínio lógico, a IA fará maiores progressos no tratamento de problemas de senso comum.