Editor Downcodes mengetahui bahwa Tencent hari ini merilis model bahasa besar MOE open source Hunyuan-besar, dengan ukuran parameter 398B dan ukuran parameter aktivasi 52B. Model ini telah berkinerja baik dalam beberapa pengujian benchmark resmi, melampaui Llama3.1, Mixtral, dan open source kelas satu lainnya dalam sembilan dimensi utama, termasuk CMMLU, MMLU, CEva1, MATH, dan rangkaian evaluasi komprehensif multidisiplin lainnya, serta perangkat evaluasi komprehensif multidisiplin bahasa Mandarin. dan tugas NLP bahasa Inggris, kode dan matematika. Model besar, menunjukkan kinerja yang kuat dan potensi aplikasi yang luas. Inovasi teknologi Hunyuan-large terletak pada penerapan data sintetis berkualitas tinggi, yang secara efektif memecahkan masalah kekurangan data alami dan mendukung pemrosesan urutan teks hingga 256K, sehingga sangat meningkatkan kemampuan pemrosesan tugas konteks panjang.
Dapat dipahami bahwa model ini dapat menghasilkan data sintetik berkualitas tinggi dalam hal inovasi teknologi. Dengan menggunakan data sintetik untuk meningkatkan pelatihan, model ini dapat secara efektif mengatasi kekurangan data alami. Dalam hal kemampuan pemrosesan konteks, model terlatih mendukung urutan teks hingga 256 ribu, sehingga secara signifikan meningkatkan kemampuan untuk menangani tugas konteks panjang.
Pada saat yang sama, Tencent Hunyuan mengumumkan bahwa untuk mengisi kekurangan kumpulan ulasan teks panjang yang sebenarnya di industri, Tencent Hunyuan akan membuka sumber kumpulan ulasan Penguin Scroll untuk membantu penelitian aplikasi industri. PenguinScrolls yang dikembangkan sendiri didasarkan pada berbagai teks panjang alami seperti keuangan publik, hukum, dan makalah akademis, dengan rentang panjang 1K-128K, mencakup berbagai pemahaman bacaan mendalam dan tugas penalaran teks panjang.
Peluncuran model bahasa Tencent Hunyuan Large dan set evaluasi Penguin Scroll sumber terbuka akan memberi industri model bahasa dan alat evaluasi yang lebih kuat, serta mendorong pengembangan pemrosesan bahasa alami dan kecerdasan buatan.
Alamat situs web resmi: https://llm.hunyuan.tencent.com
Model besar Hunyuan Tencent yang bersifat open source tidak hanya menyediakan alat canggih bagi pengembang, tetapi juga berkontribusi terhadap kemajuan di bidang kecerdasan buatan. Kumpulan ulasan Penguin Scroll yang bersifat open source akan lebih mendorong peningkatan dan pengembangan teknologi pemrosesan teks panjang. Menantikan hasil yang lebih inovatif di masa depan!