Редактор Downcodes узнал, что Tencent сегодня выпустила большую языковую модель MOE с открытым исходным кодом Hunyuan-large, с размером параметра 398 байт и размером параметра активации 52 байт. Эта модель показала хорошие результаты в многочисленных авторитетных тестах производительности, превзойдя Llama3.1, Mixtral и другие первоклассные наборы с открытым исходным кодом по девяти основным параметрам, включая CMMLU, MMLU, CEva1, MATH и другие междисциплинарные комплексные оценочные наборы, а также китайские и задачи НЛП на английском языке, код и математика. Большая модель, демонстрирующая высокую производительность и широкий потенциал применения. Технологическая инновация Hunyuan-large заключается в применении высококачественных синтетических данных, которые эффективно решают проблему недостаточности естественных данных и поддерживают обработку текстовых последовательностей размером до 256 КБ, что значительно расширяет возможности обработки длинных контекстных задач.
Понятно, что эта модель может обеспечить высококачественные синтетические данные с точки зрения технологических инноваций. Используя синтетические данные для улучшения обучения, она может эффективно справиться с недостатками естественных данных. Что касается возможностей обработки контекста, предварительно обученная модель поддерживает текстовые последовательности размером до 256 КБ, что значительно расширяет возможности обработки длинных контекстных задач.
В то же время Tencent Hunyuan объявила, что, чтобы восполнить нехватку в отрасли наборов для полнотекстовых обзоров, Tencent Hunyuan откроет исходный код набора для обзоров Penguin Scroll, чтобы помочь в исследованиях отраслевых приложений. PenguinScrolls собственной разработки основан на различных естественных длинных текстах, таких как государственные финансы, право и научные статьи, с диапазоном длины 1–128 КБ, охватывающих различные задачи углубленного понимания прочитанного и рассуждения длинных текстов.
Выпуск большой языковой модели Tencent Hunyuan и открытого исходного кода оценочного набора Penguin Scroll предоставит отрасли более мощные языковые модели и инструменты оценки, а также будет способствовать развитию обработки естественного языка и искусственного интеллекта.
Официальный адрес сайта: https://llm.hunyuan.tencent.com
Открытый исходный код крупной модели Tencent Hunyuan не только предоставляет разработчикам мощные инструменты, но и способствует прогрессу в области искусственного интеллекта. Открытый исходный код набора для обзора Penguin Scroll будет способствовать дальнейшему совершенствованию и развитию технологии обработки длинного текста. С нетерпением ждем новых инновационных результатов в будущем!