Este artigo explora as limitações da abordagem de Yann LeCun para Large Language Models (LLMs) e os benefícios potenciais da Joint Embedding Architecture (JEPA). LeCun acredita que o LLM existente carece de uma verdadeira compreensão do mundo físico e de suporte para capacidades inteligentes importantes, como memória persistente, raciocínio e planejamento. Enfatizou a importância de construir modelos que possam compreender profundamente o mundo e destacou que as vantagens do JEPA na extração de representações abstratas permitem-lhe aprender melhor as características essenciais do mundo, compensando assim as deficiências do LLM.
Yann LeCun destacou que, embora o LLM tenha suas utilidades, ele não consegue compreender com precisão o mundo físico e carece de suporte para recursos básicos de inteligência, como memória persistente, raciocínio e planejamento. Ele discutiu a possibilidade de construir modelos com uma compreensão profunda do mundo e introduziu as vantagens da Joint Embedding Architecture (JEPA) sobre o LLM que pode extrair melhor representações abstratas, permitindo que o sistema aprenda essencialmente as características abstratas do mundo.Tomadas em conjunto, a perspectiva de LeCun destaca a direcção futura do campo da inteligência artificial, que está a afastar-se do processamento de linguagem pura e a aproximar-se de uma compreensão mais profunda do mundo físico e de conceitos abstractos. Como alternativa potencial, o JEPA merece mais investigação e exploração, a fim de construir sistemas de inteligência artificial mais poderosos e inteligentes.