Cet article explore les limites de l'approche de Yann LeCun en matière de grands modèles linguistiques (LLM) et les avantages potentiels de la Joint Embedding Architecture (JEPA). LeCun estime que le LLM existant manque d'une véritable compréhension du monde physique et ne prend pas en charge les capacités intelligentes clés telles que la mémoire persistante, le raisonnement et la planification. Il a souligné l'importance de construire des modèles capables de comprendre en profondeur le monde et a souligné que les avantages du JEPA dans l'extraction de représentations abstraites lui permettent de mieux connaître les caractéristiques essentielles du monde, compensant ainsi les lacunes du LLM.
Yann LeCun a souligné que même si le LLM a son utilité, il ne peut pas comprendre avec précision le monde physique et ne prend pas en charge les fonctionnalités de base de l'intelligence telles que la mémoire persistante, le raisonnement et la planification. Il a discuté de la possibilité de créer des modèles avec une compréhension approfondie du monde et a présenté les avantages de l'architecture d'intégration conjointe (JEPA) par rapport au LLM, qui permet de mieux extraire les représentations abstraites, permettant au système d'apprendre essentiellement les caractéristiques abstraites du monde.Dans l'ensemble, la perspective de LeCun met en évidence l'orientation future du domaine de l'intelligence artificielle, qui s'éloigne du pur traitement du langage et s'oriente vers une compréhension plus profonde du monde physique et des concepts abstraits. En tant qu’alternative potentielle, JEPA mérite des recherches et une exploration plus approfondies afin de construire des systèmes d’intelligence artificielle plus puissants et plus intelligents.