Le dernier projet de Meta AI, Llama3, a attiré une large attention. L'éditeur de Downcodes vous donnera une compréhension approfondie de sa technologie de base et de son orientation future en matière de développement. Thomas Scialom, chercheur en méta-IA, a été récemment interviewé, partageant les détails du développement de Llama3 et fournissant un aperçu unique des problèmes existants dans la formation de modèles de langage à grande échelle. Il a particulièrement souligné le rôle important des données synthétiques dans la formation de Llama3 et la manière d'utiliser efficacement les commentaires humains pour améliorer les performances du modèle. Cet article expliquera en détail les méthodes de formation, les domaines d'application et les futurs plans de développement de Llama3, présentant aux lecteurs une perspective complète et approfondie.
Thomas Scialom, chercheur chez Meta AI, a récemment partagé quelques aperçus de leur dernier projet, Llama3, dans une interview. Il souligne sans détour que les grandes quantités de textes sur le Web sont de qualité variable et estime que la formation sur ces données est un gaspillage de ressources. Par conséquent, le processus de formation de Llama3 ne repose sur aucune réponse écrite par l’homme, mais est entièrement basé sur les données synthétiques générées par Llama2.
En discutant des détails de la formation de Llama3, Scialom a détaillé l'application des données synthétiques dans différents domaines. Par exemple, en termes de génération de code, ils ont utilisé trois méthodes différentes pour générer des données synthétiques, notamment le retour d'information sur l'exécution du code, la traduction des langages de programmation et la rétro-traduction de la documentation. En termes de raisonnement mathématique, ils se sont appuyés sur l’approche de recherche « pas à pas » pour générer des données. De plus, Llama3 continue d'être pré-entraîné avec 90 % de jetons multilingues pour collecter des annotations humaines de haute qualité, ce qui est particulièrement important dans le traitement multilingue.
Le traitement de textes longs est également au centre de Llama3, et ils s'appuient sur des données synthétiques pour gérer les réponses aux questions en texte long, le résumé de documents longs et l'inférence de base de code. En termes d'utilisation des outils, Llama3 a été formé sur les interpréteurs Brave Search, Wolfram Alpha et Python pour implémenter des appels de fonctions simples, imbriqués, parallèles et multi-tours.
Scialom a également mentionné l'importance de l'apprentissage par renforcement avec feedback humain (RLHF) dans la formation Llama3. Ils ont largement utilisé les données sur les préférences humaines pour entraîner le modèle, en mettant l'accent sur la capacité des humains à faire des choix (comme choisir lequel de deux poèmes préférer) plutôt que de repartir de zéro.
Meta a commencé la formation de Llama4 en juin et Scialom a révélé que Llama4 se concentrerait principalement sur l'agent intelligent. En outre, il a également mentionné une version multimodale de Llama, qui aura plus de paramètres et dont la sortie est prévue dans un avenir proche.
L'interview de Sciom révèle les derniers progrès de Meta AI et les orientations de développement futures dans le domaine de l'intelligence artificielle, en particulier dans la manière d'utiliser les données synthétiques et les commentaires humains pour améliorer les performances des modèles.
Grâce à l’interview de Scialom, nous avons découvert les innovations de Llama3 en matière d’utilisation des données et de formation de modèles, ainsi que l’exploration continue de Meta AI dans le domaine des modèles de langage à grande échelle. L'expérience réussie de Llama3 constitue une référence précieuse pour le développement de futurs modèles d'intelligence artificielle et indique également que la technologie de l'intelligence artificielle évoluera dans une direction plus précise et plus efficace. L'éditeur de Downcodes attend avec impatience la sortie de Llama4 et du multimodal Llama, et continue de prêter attention aux progrès révolutionnaires de Meta AI dans le domaine de l'intelligence artificielle.