Downcodes의 편집자는 Tencent가 오늘 매개변수 크기가 398B이고 활성화 매개변수 크기가 52B인 오픈 소스 MOE 대형 언어 모델 Hunyuan-large를 출시했다는 사실을 알게 되었습니다. 이 모델은 CMMLU, MMLU, CEva1, MATH 및 기타 다분야 종합 평가 세트와 중국어를 포함한 9가지 주요 차원에서 Llama3.1, Mixtral 및 기타 일류 오픈 소스를 능가하는 여러 권위 있는 벤치마크 테스트에서 우수한 성능을 보였습니다. 강력한 성능과 광범위한 응용 가능성을 보여주는 영어 NLP 작업, 코드 및 수학. Hunyuan-large의 기술 혁신은 고품질 합성 데이터를 적용하여 부족한 자연 데이터 문제를 효과적으로 해결하고 최대 256K의 텍스트 시퀀스 처리를 지원하여 긴 컨텍스트 작업의 처리 능력을 크게 향상시키는 데 있습니다.
이 모델은 기술 혁신 측면에서 고품질의 합성 데이터를 달성할 수 있는 것으로 이해된다. 합성 데이터를 활용해 훈련을 강화함으로써 자연 데이터의 단점에 효과적으로 대처할 수 있다는 점이다. 컨텍스트 처리 기능 측면에서 사전 학습된 모델은 최대 256K의 텍스트 시퀀스를 지원하여 긴 컨텍스트 작업을 처리하는 능력을 크게 향상시킵니다.
동시에 Tencent Hunyuan은 업계에서 실제 장문 리뷰 세트의 부족을 메우기 위해 Penguin Scroll 리뷰 세트를 오픈 소스화하여 산업 응용 연구에 도움을 줄 것이라고 발표했습니다. 자체 개발한 PenguinScrolls는 공공 재정, 법률, 학술 논문 등 자연스럽고 다양한 장문 텍스트를 기반으로 하며 길이 범위는 1K~128K로 다양한 심층 독해 및 장문 추론 작업을 포괄합니다.
Tencent Hunyuan Large 언어 모델의 출시와 Penguin Scroll 평가 세트의 오픈 소스는 업계에 더욱 강력한 언어 모델과 평가 도구를 제공하고 자연어 처리 및 인공 지능의 개발을 촉진할 것입니다.
공식 홈페이지 주소: https://llm.hunyuan.tencent.com
Tencent의 Hunyuan 대형 모델의 오픈 소스는 개발자에게 강력한 도구를 제공할 뿐만 아니라 인공 지능 분야의 발전에도 기여합니다. Penguin Scroll 리뷰 세트의 오픈 소스는 장문 처리 기술의 개선과 개발을 더욱 촉진할 것입니다. 앞으로도 더욱 혁신적인 결과를 기대합니다!