Le développement rapide des grands modèles de langage (LLM) est impressionnant, mais il ne suffit pas simplement de poursuivre l’expansion de l’échelle du modèle pour parvenir à une véritable intelligence de l’IA. L’éditeur de Downcodes estime que donner au modèle la capacité d’auto-évoluer afin qu’il puisse continuer à apprendre et à s’améliorer pendant la phase d’inférence est crucial pour le développement futur de l’IA. Cet article explorera le facteur clé de l'auto-évolution de l'IA : la mémoire à long terme (LTM), et comment réaliser des progrès continus dans l'IA grâce à la LTM.
Les grands modèles linguistiques (LLM), tels que la série GPT, ont démontré des capacités étonnantes en matière de compréhension, de raisonnement et de planification du langage grâce à leurs énormes ensembles de données, et ont atteint des niveaux comparables à ceux des humains dans diverses tâches difficiles. La plupart des recherches se sont concentrées sur l’amélioration de ces modèles en les entraînant sur des ensembles de données plus vastes, dans le but de développer des modèles de base plus puissants.
Cependant, bien que la formation d’un modèle de base plus puissant soit cruciale, les chercheurs estiment que donner au modèle la capacité de continuer à évoluer pendant la phase d’inférence, c’est-à-dire l’auto-évolution de l’IA, est également crucial pour le développement de l’IA. Par rapport à l’utilisation de données à grande échelle pour entraîner un modèle, l’auto-évolution peut ne nécessiter que des données ou des interactions limitées.
Inspirés par la structure en colonnes du cortex cérébral humain, les chercheurs ont émis l’hypothèse que les modèles d’IA peuvent développer des capacités cognitives émergentes et construire des modèles de représentation internes grâce à des interactions itératives avec leur environnement.
Pour atteindre cet objectif, les chercheurs ont proposé que le modèle doive disposer d'une mémoire à long terme (LTM) pour stocker et gérer les données d'interaction traitées dans le monde réel. LTM est non seulement capable de représenter des données individuelles à longue traîne dans des modèles statistiques, mais favorise également l'auto-évolution en prenant en charge diverses expériences dans divers environnements et agents.
Le LTM est la clé pour réaliser l’auto-évolution de l’IA. De la même manière que les humains apprennent et s’améliorent continuellement grâce à leur expérience personnelle et à leurs interactions avec l’environnement, l’auto-évolution des modèles d’IA repose également sur les données LTM accumulées au cours des interactions. Contrairement à l’évolution humaine, l’évolution des modèles pilotée par LTM ne se limite pas aux interactions du monde réel. Les modèles peuvent interagir avec l’environnement physique comme les humains et recevoir des commentaires directs, qui sont traités pour améliorer leurs capacités. Il s’agit également d’un domaine de recherche clé dans l’IA incarnée.
D'un autre côté, les modèles peuvent également interagir dans des environnements virtuels et accumuler des données LTM, ce qui est moins coûteux et plus efficace que l'interaction dans le monde réel, améliorant ainsi plus efficacement les capacités.
Construire LTM nécessite d’affiner et de structurer les données brutes. Les données brutes font référence à la collecte de toutes les données non traitées reçues par le modèle via l'interaction avec l'environnement externe ou pendant le processus de formation. Ces données contiennent une variété d'observations et d'enregistrements, qui peuvent contenir des modèles précieux et de grandes quantités d'informations redondantes ou non pertinentes.
Bien que les données brutes constituent la base de la mémoire des modèles et de la cognition, elles nécessitent un traitement plus approfondi avant de pouvoir être utilisées efficacement à des fins de personnalisation ou d'exécution efficace de tâches. LTM affine et structure ces données brutes afin que le modèle puisse les utiliser. Ce processus améliore la capacité du modèle à fournir des réponses et des recommandations personnalisées.
La création de LTM est confrontée à des défis tels que la rareté des données et la diversité des utilisateurs. Dans les systèmes LTM continuellement mis à jour, la rareté des données est un problème courant, en particulier pour les utilisateurs ayant un historique d'interaction limité ou des activités dispersées, ce qui rend la formation du modèle difficile. En outre, la diversité des utilisateurs ajoute également à la complexité, exigeant que les modèles s'adaptent aux modèles individuels et se généralisent efficacement à différents groupes d'utilisateurs.
Les chercheurs ont développé un cadre de collaboration multi-agents appelé Omne, qui met en œuvre l'auto-évolution de l'IA basée sur le LTM. Dans ce cadre, chaque agent dispose d'une structure système indépendante et peut apprendre et stocker de manière autonome un modèle d'environnement complet pour construire une compréhension indépendante de l'environnement. Grâce à ce développement collaboratif basé sur LTM, le système d'IA peut s'adapter aux changements de comportement individuel en temps réel, optimiser la planification et l'exécution des tâches et promouvoir davantage l'auto-évolution personnalisée et efficace de l'IA.
Le framework Omne a obtenu la première place au test de référence GAIA, prouvant l'énorme potentiel de l'exploitation du LTM pour l'auto-évolution de l'IA et la résolution de problèmes du monde réel. Les chercheurs estiment que l’avancement de la recherche LTM est crucial pour le développement continu et l’application pratique de la technologie de l’IA, notamment en termes d’auto-évolution.
Dans l’ensemble, la mémoire à long terme est la clé de l’auto-évolution de l’IA, permettant aux modèles d’IA d’apprendre et de s’améliorer grâce à l’expérience, tout comme les humains. Construire et exploiter le LTM nécessite de surmonter des défis tels que la rareté des données et la diversité des utilisateurs. Le framework Omne fournit une solution réalisable pour l’auto-évolution de l’IA basée sur LTM, et son succès au test de référence GAIA démontre l’énorme potentiel dans ce domaine.
Article : https://arxiv.org/pdf/2410.15665
Grâce aux recherches sur la mémoire à long terme (LTM), l’auto-évolution de l’IA n’est plus un rêve lointain. À l’avenir, les modèles d’IA basés sur LTM devraient démontrer des capacités plus puissantes dans un plus large éventail de domaines et apporter de plus grands avantages à la société humaine. Dans l’attente de résultats plus innovants !