Kemampuan model bahasa besar (LLM) dalam penalaran logis telah menarik banyak perhatian, dan penelitian terbaru mengungkapkan kelemahan yang signifikan: kepekaan terhadap urutan penyajian informasi premis. Penelitian menunjukkan bahwa urutan informasi premis akan secara signifikan mempengaruhi akurasi inferensi LLM, dan mengganggu urutan dapat menyebabkan penurunan kinerja model secara signifikan. Para peneliti dari Google DeepMind dan Stanford telah menekankan pentingnya tatanan logis dan menunjukkan bahwa aspek ini masih merupakan tantangan mendesak bagi LLM.
Penelitian terbaru menemukan bahwa model bahasa besar dipengaruhi oleh urutan penyajian informasi premis dalam tugas penalaran logis, dan ketidakteraturan dapat menyebabkan penurunan kinerja. Peneliti Google DeepMind dan Stanford menunjukkan bahwa premis pengurutan yang logis dan alami dapat meningkatkan kinerja model. Untuk model seperti LLM, mengubah urutan tempat akan menyebabkan penurunan kinerja, yang memerlukan penelitian dan solusi lebih lanjut. Urutan premis memiliki dampak yang signifikan terhadap kinerja inferensi model bahasa besar dan masih menjadi tantangan. Gemini, GPT-4, dll. memiliki kelemahan besar, dan kinerja LLM sangat menurun.
Secara keseluruhan, LLM memiliki ketergantungan urutan yang jelas dalam penalaran logis, yang membatasi ruang lingkup penerapannya diperlukan untuk memecahkan hambatan ini sehingga LLM dapat menangani tugas-tugas penalaran yang kompleks dengan lebih andal. Meningkatkan kemampuan LLM untuk memproses urutan prasyarat adalah arah utama untuk meningkatkan kinerjanya secara keseluruhan.