11 月 2 日の IT House News、ロサンゼルス タイムズは昨日 (11 月 1 日) ブログ投稿を掲載し、Apple 研究チームが 20 の最先端の AI モデルをテストし、干渉アイテムの存在下では単純なパフォーマンスを処理することが判明したと報告しました。算数の問題は小学生よりも苦手です。
Apple は、20 を超える最先端の AI モデルをテストするために、次のような単純な算術質問を使用しました。IT Home は次のような質問を添付しました。
オリバーは金曜日に 44 個のキウイ フルーツを摘み、土曜日には 58 個のキウイ フルーツを摘みました。日曜日に摘んだ数は金曜日の 2 倍でしたが、そのうちの 5 個は平均より小さかったです。オリバーはこの 3 日間でキウイ フルーツを何個摘みましたか。あなたが選びましたか？
正解は190 、計算式は 44(金曜日) + 58 (土曜日) + 88 (44*2、日曜日) となります。
しかし、テストされた20を超える最先端のAIモデルは干渉項目を排除できず、キーウィのサイズと数が関係がないことを一般に理解していませんでした。結果のほとんどは185でした。
Apple チームは、質問に関連しているように見えて実際には無関係な情報が含まれている場合、AI モデルのパフォーマンスが大幅に低下することを発見しました。この研究では、AI モデルは数学的概念を真に理解するのではなく、主にトレーニング データ内の言語パターンに依存していると考えられています。
Appleの調査によると、現在のAIモデルは「真の論理的推論ができない」という。この発見は、AI は特定のタスクでは優れているものの、その知能は見た目ほど信頼できるものではないことを思い出させます。
Appleチームは、単にデータやコンピューティング能力を拡張するだけではこの問題を根本的に解決することはできないと指摘し、Appleの論文はAI機能への熱意を弱めることを目的としたものではなく、合理的な理解を提供することを目的としている。