Tencent는 오늘 Hunyuan-Large라는 대형 언어 모델의 오픈 소스를 발표했으며, 매개 변수 척도는 398b 및 52b 활성화 매개 변수 부피입니다. 이 모델은 LLAMA 3.1 및 Mixtral과 같은 유사한 오픈 소스 모델을 능가하는 여러 권위있는 벤치 마크에서 잘 작동합니다. 기술 혁신에는 고품질 합성 데이터의 적용이 포함되며, 이는 불충분 한 자연 데이터의 문제를 효과적으로 해결하고 최대 256K의 텍스트 시퀀스를 지원하여 긴 텍스트 처리 기능을 크게 향상시킵니다. 또한 Tencent는 업계에서 고품질의 긴 텍스트 평가 세트가 부족하고 대형 모델 기술의 개발을 촉진하는 것을 목표로 "펭귄 스크롤"이라는 평가 데이터 세트를 열었습니다.
Tencent는 오늘 오픈 소스 Moe Large Language Model Hunyuan-Large를 발표했으며, 총 매개 변수량은 398b 및 활성화 매개 변수 부피는 52b입니다. 공개 평가 결과 Tencent Hunyuan Large는 CMMLU, MMLU, CEVA1, 수학 및 기타 여러 분야의 포괄적 평가 세트뿐만 아니라 중국 및 영어 NLP 작업, 코드 및 수학과 같은 9 가지 차원에서 1 등급 소스 전공을 이끌고 있음을 보여줍니다. LLAMA3.1 및 MIXTRAL.
이 모델은 기술 혁신에서 고품질 합성 데이터를 달성 할 수 있으며 합성 데이터를 사용하여 자연 데이터의 단점을 효과적으로 처리 할 수 있습니다. 컨텍스트 처리 기능 측면에서, 사전 훈련 된 모델은 최대 256K의 텍스트 시퀀스를 지원하여 긴 컨텍스트 작업을 처리하는 능력을 크게 향상시킵니다.
동시에, Tencent Hunyuan은 업계에서 실제 긴 기사 검토 세트의 단점을 채우기 위해 업계 펭귄 스크롤 검토 세트가 업계 적용 연구에 도움이 될 것이라고 발표했습니다. 자체 개발 된 펭귄 스크롤은 공공 금융, 법률 및 학술 논문과 같은 다양한 자연적인 긴 텍스트를 기반으로합니다.
Tencent Hunyuan의 대형 대형 언어 모델의 출시와 펭귄 스크롤 평가 세트의 오픈 소스는 업계에보다 강력한 언어 모델과 평가 도구를 제공하여 자연 언어 처리 및 인공 지능의 개발을 촉진 할 것입니다.
공식 웹 사이트 주소 : https://llm.hunyuan.tencent.com
Hunyuan-Large의 오픈 소스와 Penguin Scroll Review 세트의 동시 릴리스는 대형 언어 모델 분야에서 Tencent의 또 다른 주요 획기적인 획기적인 획기적인 획기적인 정보를 제공하여 학술 연구 및 산업 응용 분야에 대한 강력한 지원을 제공하며 미래를 기대할 가치가 있습니다. 인공 지능의 개발.