Le développement rapide de modèles de grandes langues (LLM) a apporté une commodité sans précédent, mais il fait également face au défi majeur de "l'illusion". La soi-disant «illusion» fait référence au contenu de génération de LLM qui semble réel mais qui est en fait faux ou incompatible avec les faits. Cet article mènera des discussions approfondies sur les derniers résultats de recherche des chercheurs de Harvard sur le phénomène "illusion" LLM, analysera ses causes et attend avec impatience les orientations de développement futurs. La recherche révèle que la racine de «l'illusion» de LLM réside dans son mécanisme de prédiction basé sur la probabilité statistique, plutôt qu'une véritable compréhension sémantique. Cela rend LLM sujet à une désinformation lorsqu'il s'agit de sujets vagues ou controversés.
L'émergence de modèles de grands langues (LLM), en particulier la popularisation d'applications telles que le chatppt, a complètement changé la façon dont les interactions humaines-ordinateur. Ces modèles sont impressionnants pour générer du texte cohérent et complet. Cependant, malgré ses puissantes capacités, LLM est sujet à "l'illusion", c'est-à-dire pour générer du contenu qui semble réel mais qui est en fait fictif, dénué de sens ou incompatible avec l'invite.
Des chercheurs de l'Université de Harvard ont mené des recherches approfondies sur le phénomène LLM "Illusion" et ont constaté que sa cause profonde réside dans le fonctionnement du LLM. LLM construit un modèle de probabilité par apprentissage automatique sur des données de texte massives et prédit le mot suivant en fonction de la probabilité de cooccurrence des mots. En d'autres termes, LLM ne comprend pas vraiment la signification du langage, mais fait des prédictions basées sur la probabilité statistique.
Les chercheurs ont comparé LLM au "crowdsourcing" et pensaient que LLM émet en fait "un consensus de réseau". Tout comme des plates-formes comme Wikipedia ou Reddit, LLM extrait les informations de grandes quantités de données de texte et génère les réponses les plus courantes. Étant donné que la plupart des langues sont utilisées pour décrire le monde, les réponses générées par LLM sont généralement exactes.
Cependant, «l'illusion» se produit lorsque LLM rencontre un sujet vague, controversé ou de sujet consensuel. Pour tester cette hypothèse, les chercheurs ont conçu une série d'expériences qui ont testé les performances de différents LLM lorsqu'ils traitent de différents sujets. Les résultats expérimentaux montrent que LLM fonctionne bien lorsqu'il s'agit de sujets communs, mais diminue considérablement la précision lorsqu'il s'agit de sujets vagues ou controversés.
Cette étude montre que LLM, bien que puissant en tant qu'outil, dépend de sa précision dépend de la qualité et de la quantité des données de formation. Lorsque vous utilisez LLM, en particulier lorsqu'il s'agit de sujets flous ou controversés, sa sortie doit être prise avec prudence. Cette étude fournit également une orientation pour le développement futur de LLM, à savoir la nécessité d'améliorer la capacité de LLM à faire face à des sujets flous et controversés et à améliorer l'interprétabilité de ses résultats de sortie.
Adresse papier: https://dl.acm.org/doi/pdf/10.1145/3688007
Les recherches de l'Université de Harvard fournissent des informations précieuses pour comprendre et améliorer LLM, et nous rappelle également à utiliser LLM avec prudence, en particulier lorsque vous ciblez des sujets vagues ou controversés, et nous devons identifier soigneusement la précision de ses résultats de sortie, et espérer que LLM le surmontera À l'avenir.