La capacité des grands modèles de langage (LLM) à raisonner logiquement a attiré beaucoup d'attention, et des recherches récentes ont révélé un défaut important : la sensibilité à l'ordre dans lequel les informations de prémisse sont présentées. La recherche montre que l'ordre des informations de base affectera considérablement la précision de l'inférence du LLM, et que la perturbation de l'ordre peut entraîner une diminution significative des performances du modèle. Des chercheurs de Google DeepMind et de Stanford ont souligné l’importance de l’ordre logique et souligné que cet aspect reste un défi urgent pour le LLM.
Des recherches récentes ont montré que les grands modèles de langage sont affectés par l'ordre dans lequel les informations de prémisse sont présentées dans les tâches de raisonnement logique, et que le désordre peut conduire à une dégradation des performances. Les chercheurs de Google DeepMind et de Stanford ont souligné que le principe d'un ordre logique et naturel peut améliorer les performances du modèle. Pour des modèles tels que LLM, la modification de l'ordre des locaux entraînera une dégradation des performances, ce qui nécessite des recherches et des solutions supplémentaires. L'ordre des prémisses a un impact significatif sur les performances d'inférence des grands modèles de langage et reste un défi. Gemini, GPT-4, etc. présentent des défauts majeurs et les performances du LLM ont sérieusement diminué.
Dans l’ensemble, LLM présente des dépendances de séquence évidentes dans le raisonnement logique, ce qui limite son champ d’application. Des recherches futures sont nécessaires pour surmonter ce goulot d’étranglement afin que LLM puisse gérer des tâches de raisonnement complexes de manière plus fiable. Améliorer la capacité de LLM à traiter les séquences prérequises est une direction clé pour améliorer ses performances globales.