Downcodes小编获悉，腾讯今日重磅发布开源MOE大语言模型Hunyuan-large，参数规模达到398B，激活参数量为52B。该模型在多个权威基准测试中表现优异，在CMMLU、MMLU、CEva1、MATH等多学科综合评测集以及中英文NLP任务、代码和数学等9大维度全面超越Llama3.1、Mixtral等其他一流开源大模型，展现出强大的性能和广泛的应用潜力。Hunyuan-large的技术创新之处在于高质量合成数据的应用，有效解决了自然数据不足的问题，并支持高达256K的文本序列处理，极大增强了长上下文任务处理能力。
据了解，该模型在技术创新上可实现高质量合成数据，通过使用合成数据增强训练，有效应对自然数据的不足。在上下文处理能力方面，预训练模型支持高达256K的文本序列，显著增强了处理长上下文任务的能力。
同时，腾讯混元宣布，为填补行业真实长文评测集不足，腾讯混元即将开源企鹅卷轴评测集助力业界应用研究。自研企鹅卷轴（PenguinScrolls）基于公开金融、法律、学术论文等多种自然长文本，长度范围达1K-128K，覆盖各种深度阅读理解、长文推理任务。
腾讯混元Large大语言模型的发布和企鹅卷轴评测集的开源，将为业界提供更强大的语言模型和评测工具，推动自然语言处理和人工智能领域的发展。
官网地址:https://llm.hunyuan.tencent.com
腾讯混元大模型的开源，不仅为开发者提供了强大的工具，也为人工智能领域的进步贡献了重要力量。 企鹅卷轴评测集的开源，更将进一步推动长文本处理技术的完善与发展。 期待未来更多创新成果的出现！