In den IT House News vom 2. November veröffentlichte die Los Angeles Times gestern (1. November) einen Blogbeitrag, in dem sie berichtete, dass das Apple-Forschungsteam 20 der fortschrittlichsten KI-Modelle getestet und festgestellt habe, dass sie bei Vorhandensein von Interferenzelementen die Leistung auf einfache Weise verarbeiten Die Fähigkeit, Rechenaufgaben zu lösen, ist schlecht, sogar schlechter als bei Grundschülern.
Apple hat die folgende einfache Rechenfrage verwendet, um mehr als 20 der fortschrittlichsten KI-Modelle zu testen. IT Home hat die Frage wie folgt angehängt:
Oliver hat am Freitag 44 Kiwis gepflückt, am Samstag dann 58. Die Zahl war am Sonntag doppelt so hoch wie am Freitag, aber 5 davon waren kleiner als der Durchschnitt. Wie viele Kiwis hat Oliver in diesen drei Tagen gepflückt? Hast du ausgewählt?
Die richtige Antwort ist 190 und die Berechnungsformel lautet 44 (Freitag) + 58 (Samstag) + 88 (44*2, Sonntag).
Die mehr als 20 getesteten hochmodernen KI-Modelle waren jedoch nicht in der Lage, störende Elemente zu eliminieren, und verstanden im Allgemeinen nicht, dass die Größe und Anzahl der Kiwis nichts damit zu tun hatten. Die meisten Ergebnisse lagen bei 185.
Das Apple-Team stellte fest, dass die Leistung von KI-Modellen dramatisch abnahm, wenn Fragen Informationen enthielten, die relevant erschienen, aber tatsächlich irrelevant waren. Diese Forschung geht davon aus, dass KI-Modelle hauptsächlich auf Sprachmustern in Trainingsdaten basieren und nicht wirklich auf dem Verständnis mathematischer Konzepte.
Untersuchungen von Apple zeigen, dass aktuelle KI-Modelle „nicht in der Lage sind, echte logische Überlegungen anzustellen“. Dieses Ergebnis erinnert daran, dass KI zwar bei bestimmten Aufgaben hervorragend ist, ihre Intelligenz jedoch nicht so zuverlässig ist, wie es scheint.
Das Apple-Team wies darauf hin, dass eine einfache Erweiterung der Daten- oder Rechenleistung dieses Problem nicht grundsätzlich lösen könne. Das Papier von Apple solle nicht die Begeisterung für KI-Fähigkeiten schwächen, sondern ein rationales Verständnis vermitteln.