Tencent Today объявила об открытом исходном источнике своей большой языковой модели под названием Hunyuan-Large, с шкалой параметров 398B и объемом параметров активации 52B. Модель хорошо работает в нескольких авторитетных критериях, превосходящих аналогичные модели с открытым исходным кодом, такие как Llama 3.1 и Mixtral. Его технологические инновации включают в себя применение высококачественных синтетических данных, которые эффективно решают проблему недостаточных естественных данных и поддерживают текстовые последовательности до 256 тыс., Что значительно улучшая возможности обработки длинных текстов. Кроме того, Tencent также открыл набор данных оценки под названием «Scrill Penguin», стремясь компенсировать отсутствие высококачественных наборов с длинными текстами в отрасли и способствовать разработке технологии крупной модели.
Tencent Today выпустила модель большой языка с открытым исходным кодом Hunyuan-Large, с общим объемом параметров 398B и объемом параметров активации 52B. Результаты общественной оценки показывают, что Tencent Hunyuan Laign лидирует в CMMLU, MMLU, CEVA1, математике и других междисциплинарных комплексных наборах оценки, а также девять из аспектов, таких как китайские и английские задачи НЛП, код и математика, превосходные первые исходные исходные коды, такие как LlaMa3.1 и миктральная модель.
Понятно, что эта модель может получить высококачественные синтетические данные в технологических инновациях и эффективно справляться с недостатками естественных данных с помощью синтетических данных. С точки зрения возможностей обработки контекста, предварительно обученная модель поддерживает текстовые последовательности до 256 тыс., Что значительно улучшает способность выполнять длинные задачи контекста.
В то же время Tencent Hunyuan объявила, что для того, чтобы заполнить недостатки реальных наборов обзоров статьи в отрасли, Tencent Hunyuan вскоре будет открытым обзором прокрутки пингвинов с открытым исходным кодом, который поможет промышленным прикладным исследованиям. Саморазвитые свитки пингвинов основаны на различных естественных длинных текстах, таких как государственные финансы, право и академические работы.
Выпуск большой большой языковой модели Tencent Hunyuan и открытый исходный код оценки прокрутки пингвинов предоставит отрасли более мощные языковые модели и инструменты оценки для содействия развитию обработки естественного языка и искусственного интеллекта.
Официальный адрес веб -сайта: https://llm.hunyuan.tencent.com
Открытый исходный код Hunyuan-Large и одновременное выпуск обзора прокрутки Penguin Set отмечают еще один большой прорыв для Tencent в области крупных языковых моделей, обеспечивая сильную поддержку для академических исследований и промышленных приложений, и стоит с нетерпением ждать его будущего Развитие искусственного интеллекта.