L'éditeur de Downcodes a appris que Tencent a publié aujourd'hui le grand modèle de langage open source MOE Hunyuan-large, avec une taille de paramètre de 398B et une taille de paramètre d'activation de 52B. Ce modèle a obtenu de bons résultats dans plusieurs tests de référence faisant autorité, surpassant Llama3.1, Mixtral et d'autres open source de première classe dans neuf dimensions majeures, notamment CMMLU, MMLU, CEva1, MATH et d'autres ensembles d'évaluation complets multidisciplinaires, ainsi que le chinois. et tâches de PNL en anglais, code et mathématiques. Grand modèle, montrant des performances puissantes et un large potentiel d'application. L'innovation technologique de Hunyuan-large réside dans l'application de données synthétiques de haute qualité, qui résolvent efficacement le problème de l'insuffisance des données naturelles et prennent en charge le traitement de séquences de texte jusqu'à 256 Ko, améliorant considérablement les capacités de traitement des tâches contextuelles longues.
Il est entendu que ce modèle permet d'obtenir des données synthétiques de haute qualité en termes d'innovation technologique. En utilisant des données synthétiques pour améliorer la formation, il peut efficacement combler les lacunes des données naturelles. En termes de capacités de traitement du contexte, le modèle pré-entraîné prend en charge des séquences de texte jusqu'à 256 Ko, améliorant considérablement la capacité à gérer de longues tâches contextuelles.
Dans le même temps, Tencent Hunyuan a annoncé qu'afin de combler la pénurie de véritables ensembles de révision de textes longs dans l'industrie, Tencent Hunyuan ouvrirait la source de l'ensemble de révision Penguin Scroll pour aider la recherche d'applications industrielles. PenguinScrolls auto-développé est basé sur une variété de textes longs naturels tels que des articles sur les finances publiques, le droit et les articles universitaires, avec une longueur de 1K à 128K, couvrant diverses tâches approfondies de compréhension écrite et de raisonnement de textes longs.
La sortie du modèle linguistique Tencent Hunyuan Large et l'open source de l'ensemble d'évaluation Penguin Scroll fourniront à l'industrie des modèles linguistiques et des outils d'évaluation plus puissants et favoriseront le développement du traitement du langage naturel et de l'intelligence artificielle.
Adresse du site officiel : https://llm.hunyuan.tencent.com
L'open source du grand modèle Hunyuan de Tencent fournit non seulement aux développeurs des outils puissants, mais contribue également aux progrès dans le domaine de l'intelligence artificielle. L'open source de l'ensemble de révision Penguin Scroll favorisera davantage l'amélioration et le développement de la technologie de traitement de texte long. Dans l’attente de résultats plus innovants à l’avenir !