Alibaba Cloud ได้เปิดตัวซีรีส์ Qwen2-Math ซึ่งเป็นโมเดลภาษาขนาดใหญ่รูปแบบใหม่ที่เน้นไปที่สาขาคณิตศาสตร์ ซึ่งได้รับความสนใจอย่างกว้างขวางในอุตสาหกรรม ซีรีส์โมเดลนี้เหนือกว่าโมเดลโอเพ่นซอร์สที่มีอยู่ในการทดสอบเกณฑ์มาตรฐานทางคณิตศาสตร์หลายรายการ และยังมีประสิทธิภาพเหนือกว่าโมเดลโอเพ่นซอร์สที่รู้จักกันดี เช่น GPT-4o และ Claude-3.5-Sonnet ในบางด้าน บรรณาธิการของ Downcodes จะให้คำอธิบายเชิงลึกเกี่ยวกับประสิทธิภาพที่ยอดเยี่ยม เทคโนโลยีที่เป็นนวัตกรรม และทิศทางการพัฒนาในอนาคตของโมเดลซีรีส์ Qwen2-Math และพาคุณไปสำรวจความก้าวหน้าล่าสุดในสาขาคณิตศาสตร์ AI
เมื่อเร็วๆ นี้ Alibaba Cloud ได้เปิดตัวโมเดลภาษาขนาดใหญ่ในซีรีส์ Qwen2-Math โดย AI รุ่นใหม่ที่มุ่งเน้นไปที่สาขาคณิตศาสตร์ ได้รับความสนใจอย่างกว้างขวางในอุตสาหกรรมทันทีที่มีการเปิดตัว
ในฐานะสมาชิกล่าสุดของซีรีส์ Qwen2 โมเดล Qwen2-Math และ Qwen2-Math-Instruct-1.5B/7B/72B ได้แสดงให้เห็นถึงความแข็งแกร่งที่น่าประทับใจในด้านความสามารถในการแก้ปัญหาทางคณิตศาสตร์ มีรายงานว่าโมเดลซีรีส์นี้ไม่เพียงแต่เหนือกว่าโมเดลโอเพ่นซอร์สที่มีอยู่ในการทดสอบเกณฑ์มาตรฐานทางคณิตศาสตร์หลายรายการเท่านั้น แต่ยังมีประสิทธิภาพเหนือกว่าในบางด้านอีกด้วย เช่น GPT-4o, Claude-3.5-Sonnet, Gemini-1.5-Pro และ Llama- Well- โมเดลโอเพนซอร์สที่รู้จัก รวมถึง 3.1-405B เรียกได้ว่าเป็นม้ามืดในชุมชนคณิตศาสตร์ AI
ความสำเร็จของ Qwen2-Math ไม่ใช่เรื่องบังเอิญ ทีมงาน Alibaba Cloud ได้ทุ่มเทความพยายามอย่างมากในปีที่ผ่านมาเพื่อปรับปรุงความสามารถในการให้เหตุผลของแบบจำลองภาษาขนาดใหญ่เกี่ยวกับปัญหาทางคณิตศาสตร์และคณิตศาสตร์ พื้นฐานของรุ่นซีรีส์นี้คือ Qwen2-1.5B/7B/72B บนพื้นฐานนี้ ทีม R&D ได้ทำการฝึกอบรมล่วงหน้าในเชิงลึกโดยใช้คลังข้อมูลทางคณิตศาสตร์ระดับมืออาชีพที่ออกแบบอย่างระมัดระวัง คลังข้อมูลที่มีเอกลักษณ์เฉพาะนี้ครอบคลุมข้อความออนไลน์ทางคณิตศาสตร์ขนาดใหญ่และมีคุณภาพสูง หนังสือระดับมืออาชีพ ตัวอย่างโค้ด และคำถามข้อสอบชุดใหญ่ และยังมีข้อมูลก่อนการฝึกอบรมทางคณิตศาสตร์ที่สร้างโดย Qwen2 อย่างอิสระอีกด้วย
สิ่งที่ควรกล่าวถึงเป็นพิเศษคือโมเดล Qwen2-Math-Instruct โมเดลการให้รางวัลระดับมืออาชีพทางคณิตศาสตร์ซึ่งอิงตามการฝึกอบรม Qwen2-Math-72B ใช้วิธีการฝึกอบรมที่เป็นนวัตกรรมใหม่ ทีม R&D ผสมผสานสัญญาณรางวัลหนาแน่นเข้ากับสัญญาณไบนารี่ว่าโมเดลตอบถูกต้องหรือไม่ สัญญาณที่รวมกันนี้ถูกใช้เป็นสัญญาณควบคุมเพื่อสร้างข้อมูล SFT (การปรับแต่งแบบละเอียดภายใต้การดูแล) ผ่านการสุ่มตัวอย่างการปฏิเสธ และในการเรียนรู้แบบเสริมกำลัง หลังจากใช้เทคโนโลยีการเพิ่มประสิทธิภาพนโยบายเชิงสัมพันธ์ (GRPO) ของกลุ่ม SFT วิธีการฝึกอบรมที่เป็นเอกลักษณ์นี้ช่วยปรับปรุงความสามารถในการแก้ปัญหาทางคณิตศาสตร์ของแบบจำลองได้อย่างมาก
ในการใช้งานจริง Qwen2-Math-Instruct แสดงให้เห็นประสิทธิภาพที่น่าทึ่ง ไม่ว่าจะเป็น AIME (American Invitational Mathematics Examination) ปี 2024 หรือ AMC (American Mathematics Competition) ปี 2023) โมเดลนี้ทำงานได้ดีในสภาพแวดล้อมต่างๆ รวมถึงการค้นหาอย่างโลภ (Greedy) การลงคะแนนเสียงข้างมาก การลดความเสี่ยง และกลยุทธ์อื่นๆ
สิ่งที่น่าตื่นเต้นยิ่งกว่านั้นคือ Qwen2-Math ยังแสดงให้เห็นถึงความแข็งแกร่งในการแก้ปัญหาระดับคณิตศาสตร์โอลิมปิกระหว่างประเทศ (IMO) อีกด้วย จากการวิเคราะห์ชุดทดสอบต่างๆ นักวิจัยพบว่า Qwen2-Math ไม่เพียงแต่สามารถแก้ปัญหาการแข่งขันทางคณิตศาสตร์ง่ายๆ ได้อย่างง่ายดาย แต่ยังให้วิธีแก้ปัญหาที่น่าเชื่อถือเมื่อเผชิญกับปัญหาที่ซับซ้อนอีกด้วย
อย่างไรก็ตาม ทีม Alibaba Cloud ไม่ได้หยุดเพียงแค่นั้น พวกเขาเปิดเผยว่าซีรีส์ Qwen2-Math ในปัจจุบันรองรับเฉพาะภาษาอังกฤษเท่านั้น แต่พวกเขากำลังพัฒนาโมเดลสองภาษาที่รองรับภาษาอังกฤษและจีนอย่างจริงจังอยู่แล้ว และวางแผนที่จะเปิดตัวเวอร์ชันหลายภาษาในอนาคตอันใกล้นี้ นอกจากนี้ ทีมงานยังคงปรับปรุงแบบจำลองอย่างต่อเนื่องเพื่อปรับปรุงความสามารถในการแก้ปัญหาทางคณิตศาสตร์ที่ซับซ้อนและท้าทายยิ่งขึ้น
การเกิดขึ้นของ Qwen2-Math ได้เปิดโอกาสใหม่ๆ สำหรับการประยุกต์ใช้ AI ในสาขาคณิตศาสตร์อย่างไม่ต้องสงสัย หลักสูตรนี้จะไม่เพียงแต่นำการเปลี่ยนแปลงที่ปฏิวัติวงการมาสู่อุตสาหกรรมการศึกษาและช่วยให้นักเรียนเข้าใจและเชี่ยวชาญความรู้ทางคณิตศาสตร์ได้ดีขึ้น แต่ยังอาจมีบทบาทสำคัญในการวิจัยทางวิทยาศาสตร์ วิศวกรรมศาสตร์ และสาขาอื่นๆ ที่ต้องใช้การคำนวณทางคณิตศาสตร์ที่ซับซ้อนอีกด้วย
หน้าโครงการ: https://top.aibase.com/tool/qwen2-math
ดาวน์โหลดโมเดล: https://huggingface.co/Qwen
โดยรวมแล้ว การปรากฏตัวของซีรีส์ Qwen2-Math ถือเป็นความก้าวหน้าครั้งสำคัญสำหรับ AI ในสาขาคณิตศาสตร์ ศักยภาพในการพัฒนาในอนาคตนั้นมีมหาศาลและสมควรได้รับความสนใจอย่างต่อเนื่อง บรรณาธิการของ Downcodes เชื่อว่าด้วยความก้าวหน้าทางเทคโนโลยีอย่างต่อเนื่อง Qwen2-Math จะนำความเป็นไปได้มาสู่การศึกษาคณิตศาสตร์และการวิจัยทางวิทยาศาสตร์มากขึ้น