Tencent ประกาศในวันนี้ว่าแหล่งที่มาของแบบจำลองภาษาขนาดใหญ่ที่เรียกว่า Hunyuan-Large โดยมีมาตราส่วนพารามิเตอร์ 398B และปริมาณพารามิเตอร์การเปิดใช้งาน 52B โมเดลทำงานได้ดีในเกณฑ์มาตรฐานที่เชื่อถือได้มากกว่ารุ่นโอเพนซอร์สที่คล้ายกันเช่น Llama 3.1 และ Mixtral นวัตกรรมทางเทคโนโลยีของมันรวมถึงการประยุกต์ใช้ข้อมูลสังเคราะห์คุณภาพสูงซึ่งแก้ปัญหาข้อมูลธรรมชาติที่ไม่เพียงพอและรองรับลำดับข้อความได้อย่างมีประสิทธิภาพสูงสุด 256K ซึ่งเป็นการปรับปรุงความสามารถในการประมวลผลข้อความที่ยาวนาน นอกจากนี้ Tencent ยังเปิดชุดข้อมูลการประเมินที่เรียกว่า "Penguin Scroll" โดยมีวัตถุประสงค์เพื่อชดเชยการขาดชุดการประเมินข้อความที่มีคุณภาพสูงในอุตสาหกรรมและส่งเสริมการพัฒนาเทคโนโลยีโมเดลขนาดใหญ่
Tencent วันนี้เปิดตัวโมเดล Open Source Moe Language Model Hunyuan-Large โดยมีปริมาณพารามิเตอร์ทั้งหมด 398B และปริมาตรพารามิเตอร์การเปิดใช้งาน 52B ผลการประเมินสาธารณะแสดงให้เห็นว่า Tencent Hunyuan Large เป็นผู้นำใน CMMLU, MMLU, CEVA1, คณิตศาสตร์และชุดการประเมินที่ครอบคลุมสหสาขาวิชาชีพอื่น ๆ เช่นเดียวกับเก้ามิติเช่นงาน NLP จีนและภาษาอังกฤษรหัสและคณิตศาสตร์ เป็น Llama3.1 และ Mixtral
เป็นที่เข้าใจกันว่าแบบจำลองนี้สามารถบรรลุข้อมูลสังเคราะห์คุณภาพสูงในนวัตกรรมทางเทคโนโลยีและจัดการกับข้อบกพร่องของข้อมูลธรรมชาติได้อย่างมีประสิทธิภาพผ่านการใช้ข้อมูลสังเคราะห์ ในแง่ของความสามารถในการประมวลผลบริบทโมเดลที่ผ่านการฝึกอบรมมาก่อนรองรับลำดับข้อความสูงถึง 256K ช่วยเพิ่มความสามารถในการจัดการงานบริบทที่ยาวนานอย่างมีนัยสำคัญ
ในขณะเดียวกัน Tencent Hunyuan ประกาศว่าเพื่อเติมเต็มข้อบกพร่องของชุดรีวิวบทความยาว ๆ ในอุตสาหกรรม Tencent Hunyuan จะเปิดตัวเพนกวินสโครลแบบโอเพนซอร์สในไม่ช้า การเลื่อนเพนกวินที่พัฒนาขึ้นเองนั้นมีพื้นฐานมาจากตำรายาวตามธรรมชาติที่หลากหลายเช่นการเงินสาธารณะกฎหมายและเอกสารทางวิชาการ
การเปิดตัวโมเดลภาษาขนาดใหญ่ขนาดใหญ่ของ Tencent Hunyuan และแหล่งที่มาของชุดประเมินสกรอลเพนกวินจะช่วยให้อุตสาหกรรมมีแบบจำลองภาษาที่ทรงพลังยิ่งขึ้นและเครื่องมือประเมินผลเพื่อส่งเสริมการพัฒนาของการประมวลผลภาษาธรรมชาติและปัญญาประดิษฐ์
ที่อยู่เว็บไซต์อย่างเป็นทางการ: https://llm.hunyuan.tencent.com
แหล่งโอเพ่นซอร์สของ Hunyuan-Large และการเปิดตัวชุดรีวิว Penguin Scroll พร้อมกันอีกครั้งทำเครื่องหมายความก้าวหน้าครั้งสำคัญอีกครั้งสำหรับ Tencent ในด้านของแบบจำลองภาษาขนาดใหญ่ให้การสนับสนุนที่แข็งแกร่งสำหรับการวิจัยเชิงวิชาการและการประยุกต์ใช้อุตสาหกรรม การพัฒนาของปัญญาประดิษฐ์