IT House News pada tanggal 2 November, Los Angeles Times menerbitkan postingan blog kemarin (1 November), melaporkan bahwa tim peneliti Apple menguji 20 model AI paling canggih dan menemukan bahwa jika terdapat item interferensi, mereka memproses Performa secara sederhana masalah aritmatika buruk, bahkan lebih buruk daripada siswa sekolah dasar.
Apple menggunakan pertanyaan aritmatika sederhana berikut untuk menguji lebih dari 20 model AI tercanggih. IT Home telah melampirkan pertanyaan sebagai berikut:
Oliver memetik 44 buah kiwi pada hari Jumat, dan kemudian dia memetik 58 buah kiwi pada hari Sabtu. Jumlah buah kiwi yang dipetik pada hari Minggu adalah dua kali lipat jumlah buah kiwi pada hari Jumat, namun 5 buah di antaranya lebih kecil dari rata-rata. Berapa banyak buah kiwi yang dipetik oleh Oliver dalam tiga hari ini? apakah kamu memilih?
Jawaban yang benar adalah 190 , dan rumus perhitungannya adalah 44 (Jumat) + 58 (Sabtu) + 88 (44*2, Minggu).
Namun, lebih dari 20 model AI canggih yang diuji tidak mampu menghilangkan item interferensi dan umumnya tidak memahami bahwa ukuran dan jumlah kiwi tidak ada hubungannya dengan hal tersebut. Sebagian besar hasilnya adalah 185.
Tim Apple menemukan bahwa ketika pertanyaan berisi informasi yang tampak relevan namun sebenarnya tidak relevan, performa model AI menurun drastis. Penelitian ini percaya bahwa model AI lebih mengandalkan pola bahasa dalam data pelatihan daripada benar-benar memahami konsep matematika.
Penelitian Apple menunjukkan bahwa model AI saat ini "tidak mampu memberikan alasan logis yang sebenarnya." Temuan ini mengingatkan bahwa meskipun AI unggul dalam tugas-tugas tertentu, kecerdasannya tidak dapat diandalkan seperti yang terlihat.
Tim Apple menunjukkan bahwa memperluas data atau daya komputasi tidak dapat menyelesaikan masalah ini secara mendasar. Makalah Apple tidak dimaksudkan untuk melemahkan antusiasme terhadap kemampuan AI, tetapi untuk memberikan pemahaman yang rasional.