A capacidade dos grandes modelos de linguagem (LLM) no raciocínio lógico tem atraído muita atenção, e pesquisas recentes revelaram uma falha significativa: a sensibilidade à ordem em que as informações das premissas são apresentadas. A pesquisa mostra que a ordem das informações das premissas afetará significativamente a precisão da inferência do LLM, e a interrupção da ordem pode levar a uma diminuição significativa no desempenho do modelo. Pesquisadores do Google DeepMind e Stanford enfatizaram a importância da ordem lógica e apontaram que este aspecto ainda é um desafio urgente para o LLM.
Uma pesquisa recente descobriu que grandes modelos de linguagem são afetados pela ordem em que as informações das premissas são apresentadas em tarefas de raciocínio lógico, e a desordem pode levar à degradação do desempenho. Pesquisadores do Google DeepMind e Stanford apontaram que a premissa de ordenação lógica e natural pode melhorar o desempenho do modelo. Para modelos como o LLM, a alteração da ordem das premissas levará à degradação do desempenho, o que requer mais pesquisas e soluções. A ordem das premissas tem um impacto significativo no desempenho de inferência de grandes modelos de linguagem e continua a ser um desafio. Gemini, GPT-4, etc. têm falhas graves e o desempenho do LLM diminuiu seriamente.
Em suma, o LLM tem dependências de sequência óbvias no raciocínio lógico, o que limita o seu escopo de aplicação. Pesquisas futuras são necessárias para romper esse gargalo, para que o LLM possa lidar com tarefas de raciocínio complexas de forma mais confiável. Melhorar a capacidade do LLM de processar sequências de pré-requisitos é uma direção fundamental para melhorar seu desempenho geral.