Este artículo explora las limitaciones del enfoque de Yann LeCun para los modelos de lenguajes grandes (LLM) y los beneficios potenciales de la arquitectura de incrustación conjunta (JEPA). LeCun cree que el LLM existente carece de una verdadera comprensión del mundo físico y de soporte para capacidades inteligentes clave como la memoria persistente, el razonamiento y la planificación. Enfatizó la importancia de construir modelos que puedan comprender profundamente el mundo y señaló que las ventajas de JEPA en la extracción de representaciones abstractas le permiten aprender mejor las características esenciales del mundo, compensando así las deficiencias de LLM.
Yann LeCun señaló que aunque el LLM tiene sus usos, no puede comprender con precisión el mundo físico y carece de soporte para funciones básicas de inteligencia como la memoria persistente, el razonamiento y la planificación. Discutió la posibilidad de construir modelos con una comprensión profunda del mundo e introdujo las ventajas de Joint Embedding Architecture (JEPA) sobre LLM. Puede extraer mejor representaciones abstractas, lo que permite que el sistema aprenda esencialmente las características abstractas del mundo.En conjunto, la perspectiva de LeCun destaca la dirección futura del campo de la inteligencia artificial, que se está alejando del procesamiento puro del lenguaje y hacia una comprensión más profunda del mundo físico y los conceptos abstractos. Como alternativa potencial, JEPA merece más investigación y exploración para construir sistemas de inteligencia artificial más potentes e inteligentes.