บรรณาธิการของ Downcodes ได้เรียนรู้ว่าวันนี้ Tencent เปิดตัวโอเพ่นซอร์ส MOE รุ่นภาษาขนาดใหญ่ Hunyuan-large โดยมีขนาดพารามิเตอร์ 398B และขนาดพารามิเตอร์การเปิดใช้งาน 52B โมเดลนี้ทำงานได้ดีในการทดสอบเกณฑ์มาตรฐานที่เชื่อถือได้หลายรายการ ซึ่งเหนือกว่า Llama3.1, Mixtral และโอเพ่นซอร์สชั้นนำอื่นๆ ในเก้ามิติหลัก รวมถึง CMMLU, MMLU, CEva1, MATH และชุดการประเมินที่ครอบคลุมหลายสาขาวิชาอื่นๆ เช่นเดียวกับภาษาจีน และงาน NLP ภาษาอังกฤษ โค้ดและคณิตศาสตร์ แสดงให้เห็นประสิทธิภาพอันทรงพลังและศักยภาพการใช้งานที่หลากหลาย นวัตกรรมทางเทคโนโลยีของบริษัท Hunyuan-large อยู่ที่การประยุกต์ใช้ข้อมูลสังเคราะห์คุณภาพสูง ซึ่งช่วยแก้ปัญหาข้อมูลธรรมชาติที่ไม่เพียงพอได้อย่างมีประสิทธิภาพ และรองรับการประมวลผลลำดับข้อความได้สูงสุดถึง 256K ซึ่งช่วยเพิ่มความสามารถในการประมวลผลของงานตามบริบทที่ยาวได้อย่างมาก
เป็นที่เข้าใจกันว่าโมเดลนี้สามารถบรรลุข้อมูลสังเคราะห์คุณภาพสูงในแง่ของนวัตกรรมทางเทคโนโลยี โดยการใช้ข้อมูลสังเคราะห์เพื่อปรับปรุงการฝึกอบรม จะสามารถรับมือกับข้อบกพร่องของข้อมูลทางธรรมชาติได้อย่างมีประสิทธิภาพ ในแง่ของความสามารถในการประมวลผลบริบท โมเดลที่ได้รับการฝึกอบรมล่วงหน้ารองรับลำดับข้อความได้สูงสุดถึง 256K ซึ่งช่วยเพิ่มความสามารถในการจัดการงานตามบริบทที่ยาวได้อย่างมาก
ในเวลาเดียวกัน Tencent Hunyuan ประกาศว่าเพื่อเติมเต็มการขาดแคลนชุดบทวิจารณ์ข้อความยาวจริง ๆ ในอุตสาหกรรม Tencent Hunyuan จะเปิดซอร์สชุดรีวิว Penguin Scroll เพื่อช่วยวิจัยการประยุกต์ใช้ในอุตสาหกรรม PenguinScrolls ที่พัฒนาตนเองมีพื้นฐานมาจากข้อความขนาดยาวที่เป็นธรรมชาติที่หลากหลาย เช่น การคลังสาธารณะ กฎหมาย และเอกสารทางวิชาการ โดยมีช่วงความยาวตั้งแต่ 1K-128K ซึ่งครอบคลุมงานด้านการอ่านเพื่อความเข้าใจเชิงลึกและการให้เหตุผลแบบข้อความขนาดยาวต่างๆ
การเปิดตัวโมเดลภาษาขนาดใหญ่ของ Tencent Hunyuan และโอเพ่นซอร์สของชุดประเมิน Penguin Scroll จะช่วยให้อุตสาหกรรมมีโมเดลภาษาและเครื่องมือประเมินที่มีประสิทธิภาพมากขึ้น ตลอดจนส่งเสริมการพัฒนาการประมวลผลภาษาธรรมชาติและปัญญาประดิษฐ์
ที่อยู่เว็บไซต์อย่างเป็นทางการ: https://llm.hunyuan.tencent.com
โอเพ่นซอร์สของโมเดลขนาดใหญ่ Hunyuan ของ Tencent ไม่เพียงแต่มอบเครื่องมืออันทรงพลังให้กับนักพัฒนาเท่านั้น แต่ยังมีส่วนช่วยในการพัฒนาความก้าวหน้าในด้านปัญญาประดิษฐ์อีกด้วย โอเพ่นซอร์สของชุดตรวจสอบ Penguin Scroll จะส่งเสริมการปรับปรุงและพัฒนาเทคโนโลยีการประมวลผลข้อความแบบยาวต่อไป รอคอยที่จะได้รับผลลัพธ์ที่เป็นนวัตกรรมมากขึ้นในอนาคต!