O editor do Downcodes aprendeu que a Tencent lançou hoje o modelo de linguagem grande MOE de código aberto Hunyuan-large, com um tamanho de parâmetro de 398B e um tamanho de parâmetro de ativação de 52B. Este modelo teve um bom desempenho em vários testes de benchmark confiáveis, superando Llama3.1, Mixtral e outros softwares de código aberto de primeira classe em nove dimensões principais, incluindo CMMLU, MMLU, CEva1, MATH e outros conjuntos de avaliação abrangentes multidisciplinares, bem como chinês e tarefas de PNL em inglês, código e matemática, modelo grande, mostrando desempenho poderoso e amplo potencial de aplicação. A inovação tecnológica de Hunyuan-large reside na aplicação de dados sintéticos de alta qualidade, que resolve efetivamente o problema de dados naturais insuficientes e suporta o processamento de sequências de texto de até 256K, melhorando significativamente as capacidades de processamento de tarefas de contexto longo.
Entende-se que este modelo pode alcançar dados sintéticos de alta qualidade em termos de inovação tecnológica. Ao utilizar dados sintéticos para melhorar a formação, pode lidar eficazmente com as deficiências dos dados naturais. Em termos de capacidades de processamento de contexto, o modelo pré-treinado suporta sequências de texto de até 256K, melhorando significativamente a capacidade de lidar com tarefas de contexto longas.
Ao mesmo tempo, Tencent Hunyuan anunciou que, para suprir a escassez de conjuntos reais de revisão de texto longo na indústria, a Tencent Hunyuan abrirá o código-fonte do conjunto de revisão Penguin Scroll para ajudar na pesquisa de aplicações da indústria. PenguinScrolls autodesenvolvido é baseado em uma variedade de textos longos naturais, como finanças públicas, direito e artigos acadêmicos, com uma faixa de comprimento de 1K a 128K, cobrindo várias tarefas de compreensão de leitura aprofundada e raciocínio de texto longo.
O lançamento do modelo de linguagem Tencent Hunyuan Large e o código aberto do conjunto de avaliação Penguin Scroll fornecerão à indústria modelos de linguagem e ferramentas de avaliação mais poderosos e promoverão o desenvolvimento do processamento de linguagem natural e da inteligência artificial.
Endereço do site oficial: https://llm.hunyuan.tencent.com
O código aberto do grande modelo Hunyuan da Tencent não apenas fornece aos desenvolvedores ferramentas poderosas, mas também contribui para o progresso no campo da inteligência artificial. O código aberto do conjunto de revisão Penguin Scroll promoverá ainda mais a melhoria e o desenvolvimento da tecnologia de processamento de textos longos. Ansiosa por resultados mais inovadores no futuro!