IT House News el 2 de noviembre, Los Angeles Times publicó una publicación de blog ayer (1 de noviembre), informando que el equipo de investigación de Apple probó 20 de los modelos de IA más avanzados y descubrió que, en presencia de elementos de interferencia, procesaban el rendimiento en simples. Los problemas de aritmética son deficientes, incluso peores que los de los estudiantes de primaria.
Apple utilizó la siguiente pregunta aritmética simple para probar más de 20 de los modelos de IA más avanzados. IT Home adjuntó la pregunta de la siguiente manera:
Oliver recogió 44 kiwis el viernes y luego recogió 58 kiwis el sábado. El número de kiwis recogidos el domingo fue el doble que el del viernes, pero 5 de ellos fueron más pequeños que el promedio. ¿Cuántos kiwis recogió Oliver en estos tres días? elegiste?
La respuesta correcta es 190 y la fórmula de cálculo es 44 (viernes) + 58 (sábado) + 88 (44*2, domingo).
Sin embargo, los más de 20 modelos de IA de última generación probados no pudieron eliminar los elementos de interferencia y, en general, no entendieron que el tamaño y la cantidad de kiwis no tenían nada que ver con ello. La mayoría de los resultados fueron 185.
El equipo de Apple descubrió que cuando las preguntas contenían información que parecía relevante pero en realidad era irrelevante, el rendimiento de los modelos de IA caía drásticamente. Esta investigación cree que los modelos de IA se basan principalmente en patrones de lenguaje al entrenar datos en lugar de comprender verdaderamente conceptos matemáticos.
La investigación de Apple muestra que los modelos actuales de IA son "incapaces de realizar un verdadero razonamiento lógico". Este hallazgo es un recordatorio de que, si bien la IA sobresale en ciertas tareas, su inteligencia no es tan confiable como parece.
El equipo de Apple señaló que simplemente expandir los datos o la potencia informática no puede resolver fundamentalmente este problema. El artículo de Apple no pretende debilitar el entusiasmo por las capacidades de la IA, sino proporcionar una comprensión racional.