IT House News em 2 de novembro, o Los Angeles Times publicou uma postagem no blog ontem (1º de novembro), relatando que a equipe de pesquisa da Apple testou 20 dos modelos de IA mais avançados e descobriu que, na presença de itens de interferência, eles processavam o desempenho em simples problemas de aritmética é pobre, ainda pior do que a dos alunos do ensino primário.
A Apple usou a seguinte questão aritmética simples para testar mais de 20 dos modelos de IA mais avançados. A IT Home anexou a seguinte questão:
Oliver colheu 44 kiwis na sexta-feira e depois colheu 58 kiwis no sábado. O número colhido no domingo foi o dobro do de sexta-feira, mas 5 deles eram menores que a média. Quantos kiwis Oliver colheu nestes três dias? você escolheu?
A resposta correta é 190 e a fórmula de cálculo é 44 (sexta-feira) + 58 (sábado) + 88 (44*2, domingo).
No entanto, os mais de 20 modelos de IA de última geração testados não foram capazes de eliminar itens de interferência e geralmente não entenderam que o tamanho e o número de kiwis não tinham nada a ver com isso. A maioria dos resultados foi de 185.
A equipe da Apple descobriu que quando as perguntas continham informações que pareciam relevantes, mas na verdade eram irrelevantes, o desempenho dos modelos de IA caía drasticamente. Esta pesquisa acredita que os modelos de IA dependem principalmente de padrões de linguagem nos dados de treinamento, em vez de realmente compreenderem conceitos matemáticos.
A pesquisa da Apple mostra que os modelos atuais de IA são “incapazes de raciocínio lógico verdadeiro”. Esta descoberta é um lembrete de que, embora a IA seja excelente em determinadas tarefas, a sua inteligência não é tão fiável como parece.
A equipe da Apple apontou que a simples expansão dos dados ou do poder de computação não pode resolver fundamentalmente este problema. O artigo da Apple não tem como objetivo enfraquecer o entusiasmo pelas capacidades de IA, mas fornecer uma compreensão racional.