Novasky ทีมวิจัยที่ Sky Computing Laboratory ที่ University of California, Berkeley เพิ่งเปิดตัวรูปแบบการอนุมานที่เรียกว่า Sky-T1-32B-Preview ซึ่งทำงานได้อย่างยอดเยี่ยมในการวัดประสิทธิภาพที่สำคัญหลายประการ . สิ่งที่โดดเด่นยิ่งกว่าคือค่าใช้จ่ายในการฝึกอบรมของรุ่นนี้ต่ำมากแสดงแนวโน้มใหม่ในการพัฒนาปัญญาประดิษฐ์ที่มีประสิทธิภาพและประหยัด
Sky-T1-32B-Preview เป็นรูปแบบการใช้เหตุผลแบบโอเพ่นซอร์สครั้งแรกอย่างแท้จริง ทีม Novasky ไม่เพียง แต่เปิดเผยตัวแบบเองเท่านั้น แต่ยังมีชุดข้อมูลการฝึกอบรมและรหัสการฝึกอบรมที่จำเป็นเพื่อให้สามารถคัดลอกโมเดลได้อย่างสมบูรณ์ ตามบล็อกของทีม "ค่าใช้จ่ายในการฝึกอบรมของ Sky-T1-32B-Preview นั้นน้อยกว่า $ 450 ซึ่งพิสูจน์ให้เห็นว่าความสามารถในการใช้เหตุผลขั้นสูงสามารถทำได้ในราคาที่ต่ำ" ทำในอดีต การลดลงอย่างมีนัยสำคัญของค่าใช้จ่ายส่วนใหญ่มาจากการใช้ข้อมูลการฝึกอบรมสังเคราะห์ ตัวอย่างเช่นโมเดล Palmyra X004 ที่เพิ่งเปิดตัวโดยนักเขียน บริษัท ปัญญาประดิษฐ์นั้นอาศัยข้อมูลสังเคราะห์เกือบทั้งหมดสำหรับการฝึกอบรมด้วยค่าใช้จ่ายในการพัฒนาเพียง $ 700,000
แบบจำลองการอนุมานนั้นแตกต่างจากโมเดลปัญญาประดิษฐ์ทั่วไป อย่างไรก็ตามแบบจำลองการอนุมานมักจะใช้เวลานานกว่าในการแก้ปัญหาตั้งแต่วินาทีถึงนาที อย่างไรก็ตามความน่าเชื่อถือในสาขาต่าง ๆ เช่นฟิสิกส์วิทยาศาสตร์และคณิตศาสตร์ทำให้เหมาะสำหรับสาขาเหล่านี้
ทีม Novasky เปิดเผยว่าพวกเขาใช้รูปแบบการอนุมาน QWQ-32B-Preview ของอาลีบาบาเพื่อสร้างข้อมูลการฝึกอบรมเบื้องต้นของ Sky-T1 จากนั้นจัดเรียงข้อมูลและสร้างข้อมูลใหม่ให้เป็นรูปแบบที่ใช้งานได้มากขึ้นโดยใช้รูปแบบ GPT-4O-MINI ของ OpenAI ใช้เวลาประมาณ 19 ชั่วโมงในการฝึกอบรม Sky-T1 ด้วยพารามิเตอร์ 32 พันล้านพารามิเตอร์โดยใช้ชั้นวาง Nvidia H100 GPU 8 ชั้นและจำนวนพารามิเตอร์สะท้อนความสามารถในการแก้ปัญหาของโมเดลโดยตรง
ในการทดสอบประสิทธิภาพ Sky-T1 มีประสิทธิภาพสูงกว่าเวอร์ชันตัวอย่างต้นของ O1 ใน Math500 (ชุดของความท้าทายทางคณิตศาสตร์ "การประกวดระดับ") และเอาชนะ O1 เวอร์ชันตัวอย่างของ O1 ในชุดปริศนาการเข้ารหัสจาก LiveCodeBench อย่างไรก็ตาม Sky-T1 ไม่ดีเท่าเวอร์ชันตัวอย่าง O1 ใน GPQA-Diamond ซึ่งมีปัญหาทางฟิสิกส์ชีววิทยาและเคมีที่เกี่ยวข้องกับเคมีที่ผู้สำเร็จการศึกษาระดับปริญญาเอกควรเชี่ยวชาญ นอกจากนี้เวอร์ชัน O1GA ของ OpenAI นั้นมีประสิทธิภาพมากกว่าเวอร์ชันพรีวิวและ OpenAI คาดว่าจะปล่อยโมเดลการอนุมานที่ดีกว่า O3 ในอีกไม่กี่สัปดาห์ข้างหน้า
อย่างไรก็ตามทีม Novasky กล่าวว่า Sky-T1 เป็นเพียงจุดเริ่มต้นสำหรับพวกเขาในการพัฒนาโมเดลโอเพ่นซอร์สที่มีความสามารถในการใช้เหตุผลขั้นสูง “ มองไปข้างหน้าเราจะมุ่งเน้นไปที่การพัฒนาแบบจำลองที่มีประสิทธิภาพมากขึ้นรักษาประสิทธิภาพการอนุมานที่แข็งแกร่งและสำรวจเทคโนโลยีขั้นสูงเพื่อปรับปรุงประสิทธิภาพและความแม่นยำของแบบจำลองเมื่อทำการทดสอบ” ทีมเขียนไว้ในโพสต์“ คอยติดตามความคืบหน้าของเราในสิ่งเหล่านี้ แผนการที่น่าตื่นเต้น