เมื่อเร็ว ๆ นี้นักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดและมหาวิทยาลัยวอชิงตันประสบความสำเร็จในการฝึกอบรมรูปแบบการอนุมาน AI ที่เรียกว่า S1 ซึ่งมีราคาเพียง $ 50 ประสิทธิภาพของโมเดลในการทดสอบความสามารถทางคณิตศาสตร์และการเขียนโปรแกรมเปรียบได้กับโมเดล O1 ของ OpenAI และโมเดล R1 ของ Deepseek ผลลัพธ์นี้ได้จุดประกายความคิดใหม่ ๆ เกี่ยวกับการค้าแบบจำลอง AI และยังก่อให้เกิดความกังวลในห้องปฏิบัติการ AI ขนาดใหญ่
ทีมวิจัยได้แยกความสามารถในการอนุมานที่จำเป็นจากโมเดลพื้นฐานสำเร็จรูปผ่านเทคโนโลยีการกลั่นและฝึกอบรมโดยใช้รูปแบบการทดลองการทดลองของ Gemini2.0 Gemini2.0 ของ Google กระบวนการนี้ไม่เพียง แต่ราคาถูกเท่านั้น แต่ยังมีการฝึกอบรมที่รวดเร็ว
อย่างไรก็ตาม AI Labs ขนาดใหญ่ไม่พอใจกับปรากฏการณ์ของแบบจำลองการจำลองแบบต้นทุนต่ำ Meta, Google และ Microsoft วางแผนที่จะลงทุนหลายร้อยพันล้านดอลลาร์ในอีกสองปีข้างหน้าเพื่อฝึกอบรมโมเดล AI รุ่นต่อไปเพื่อรวมตำแหน่งของพวกเขาในตลาด
ผลการวิจัยของ S1 แสดงให้เห็นถึงความเป็นไปได้ของการบรรลุประสิทธิภาพการอนุมานที่แข็งแกร่งผ่านชุดข้อมูลที่ค่อนข้างเล็กและวิธีการปรับจูนแบบควบคุมดูแลซึ่งให้คำแนะนำใหม่สำหรับการวิจัย AI ในอนาคต
กระดาษ: https://arxiv.org/pdf/2501.19393
รหัส: https://github.com/simplescaling/s1
ประเด็นสำคัญ:
ค่าใช้จ่ายในการฝึกอบรมของโมเดล S1 นั้นน้อยกว่า US $ 50 และประสิทธิภาพของมันเปรียบได้กับโมเดลการอนุมานด้านบน
ผ่านเทคโนโลยีการกลั่นทีมวิจัยได้ดึงความสามารถในการใช้เหตุผลจากแบบจำลองสำเร็จรูปและกระบวนการฝึกอบรมนั้นรวดเร็วและมีประสิทธิภาพ
AI Labs ขนาดใหญ่ได้แสดงความกังวลเกี่ยวกับสถานการณ์ของแบบจำลองการจำลองแบบต้นทุนต่ำและการลงทุนจะมุ่งเน้นไปที่โครงสร้างพื้นฐาน AI ในอนาคต