Downcodes の編集者は、Tencent が本日、パラメータ サイズ 398B、アクティベーション パラメータ サイズ 52B のオープンソース MOE 大規模言語モデル Hunyuan-large をリリースしたことを知りました。このモデルは、複数の信頼できるベンチマーク テストで良好なパフォーマンスを示し、CMMLU、MMLU、CEva1、MATH およびその他の学際的な包括的な評価セット、および中国語を含む 9 つの主要な側面において、Llama3.1、Mixtral およびその他の一流のオープン ソースを上回っています。英語の NLP タスク、コード、数学の大規模モデル。強力なパフォーマンスと幅広い応用の可能性を示します。 Hunyuan-large の技術革新は、高品質の合成データの適用にあります。これにより、不十分な自然データの問題が効果的に解決され、最大 256K のテキスト シーケンスの処理がサポートされ、長いコンテキスト タスクの処理能力が大幅に向上します。
このモデルは、技術革新の観点から、合成データを使用してトレーニングを強化することで、高品質の合成データを実現でき、自然データの欠点に効果的に対処できることがわかります。コンテキスト処理機能の点では、事前トレーニングされたモデルは最大 256K のテキスト シーケンスをサポートし、長いコンテキスト タスクを処理する能力を大幅に強化します。
同時に、Tencent Hunyuan は、業界における実際の長文レビュー セットの不足を埋めるために、業界のアプリケーション研究を支援するために Penguin Scroll レビュー セットをオープンソース化すると発表しました。自社開発の PenguinScrolls は、財政、法律、学術論文など、長さの範囲が 1K ～ 128K のさまざまな自然な長文に基づいており、さまざまな深い読解や長文推論のタスクをカバーします。
Tencent Hunyuan Large 言語モデルと Penguin Scroll 評価セットのオープンソースのリリースにより、業界により強力な言語モデルと評価ツールが提供され、自然言語処理と人工知能の開発が促進されます。
公式ウェブサイトアドレス：https://llm.hunyuan.tencent.com
Tencent の Hunyuan 大型モデルのオープンソースは、開発者に強力なツールを提供するだけでなく、人工知能分野の進歩にも貢献します。 Penguin Scroll レビュー セットのオープンソースにより、長文処理技術の改善と開発がさらに促進されます。 今後もさらに革新的な成果が期待されます。