เมื่อเร็ว ๆ นี้ทีม Lab Sky Computing ที่ University of California Berkeley ได้เปิดตัว Sky-T1-32B-Preview ซึ่งเป็นรูปแบบปัญญาประดิษฐ์แบบโอเพนซอร์ซที่ทำเครื่องหมายการพัฒนาของการอนุมาน AI ง่ายขึ้นและราคาถูกกว่า โมเดลทำงานได้ดีในเกณฑ์มาตรฐานที่สำคัญหลายประการแม้จะเทียบได้กับ OpenAI เวอร์ชันก่อนหน้าของ OpenAI ของ O1
ค่าใช้จ่ายในการฝึกอบรมของ Sky-T1 นั้นน่าประทับใจเพียง $ 450 ซึ่งหมายความว่าการจำลองความสามารถในการใช้เหตุผลระดับสูงนั้นมีราคาไม่แพงและมีประสิทธิภาพมากขึ้น ในขณะที่ค่าธรรมเนียม $ 450 อาจฟังดูต่ำ แต่ก็ลดลงอย่างมากเมื่อเทียบกับค่าใช้จ่ายในการฝึกอบรมที่มีราคาหลายร้อยล้านดอลลาร์เมื่อไม่กี่ปีที่ผ่านมา ด้วยความช่วยเหลือของข้อมูลการฝึกอบรมสังเคราะห์เช่นข้อมูลการฝึกอบรมที่สร้างขึ้นโดยรุ่นอื่น ๆ ค่าใช้จ่ายจะลดลงอย่างมาก AI Company Writer เพิ่งเปิดตัว Palmyra X004 ซึ่งอาศัยข้อมูลสังเคราะห์เกือบทั้งหมดและค่าใช้จ่ายในการพัฒนาเพียง $ 700,000
ซึ่งแตกต่างจาก AIS ส่วนใหญ่แบบจำลองการอนุมานสามารถตรวจสอบตนเองได้อย่างมีประสิทธิภาพซึ่งทำให้พวกเขาเชื่อถือได้มากขึ้นเมื่อจัดการกับปัญหาที่พบบ่อย แบบจำลองการอนุมานมักจะใช้เวลามากขึ้นเมื่อได้รับการแก้ปัญหาซึ่งอาจใช้เวลาไม่กี่วินาทีถึงนาที แต่ในสาขาต่าง ๆ เช่นฟิสิกส์วิทยาศาสตร์และคณิตศาสตร์ข้อได้เปรียบความน่าเชื่อถือมีความสำคัญ
ทีม Novasky ใช้รูปแบบการอนุมานอีกครั้ง-QWQ-32B-Preview ของอาลีบาบาเพื่อสร้างข้อมูลการฝึกอบรมเบื้องต้นของ SKY-T1 และ "วางแผน" โดยใช้ GPT-4O-MINI ของ OpenAI เพื่อจัดระเบียบข้อมูลอีกครั้ง รูปแบบการปฏิบัติงานมากขึ้น ใช้เวลาประมาณ 19 ชั่วโมงในการฝึกอบรม Sky-T1 ด้วยพารามิเตอร์ 3.2 พันล้านโดยใช้ชุด 8 Nvidia H100GPUS จำนวนพารามิเตอร์นั้นเกี่ยวข้องกับความสามารถในการแก้ปัญหาของโมเดล
ตามทีม Novasky Sky-T1 มีประสิทธิภาพสูงกว่าเวอร์ชันตัวอย่างของ O1 ในคอลเล็กชั่น Math500 ของความท้าทายทางคณิตศาสตร์“ ระดับประกวด” นอกจากนี้ Sky-T1 ได้พบกับความยากลำบากใน LiveCodeBench มากกว่าเวอร์ชันตัวอย่างของ O1 อย่างไรก็ตาม Sky-T1 ทำงานได้แย่กว่าการแสดงตัวอย่าง O1 ในการทดสอบ GPQA-Diamond เมื่อพูดถึงประเด็นที่เกี่ยวข้องกับฟิสิกส์ชีววิทยาและเคมี
ควรสังเกตว่าเวอร์ชัน GA ของ OpenAi O1 นั้นมีประสิทธิภาพมากกว่าเวอร์ชันตัวอย่างและ OpenAI คาดว่าจะเปิดตัวรุ่นการอนุมานที่ดียิ่งขึ้น O3 ในอีกไม่กี่สัปดาห์ข้างหน้า อย่างไรก็ตามทีม Novasky กล่าวว่า Sky-T1 เป็นเพียงจุดเริ่มต้นของการเดินทางเพื่อพัฒนาโมเดลโอเพนซอร์สที่มีความสามารถในการใช้เหตุผลขั้นสูง
“ มองไปข้างหน้าเราจะมุ่งเน้นไปที่การพัฒนาแบบจำลองที่มีประสิทธิภาพมากขึ้นเพื่อรักษาประสิทธิภาพการอนุมานที่แข็งแกร่งและสำรวจเทคโนโลยีขั้นสูงที่เพิ่มประสิทธิภาพและความแม่นยำของโมเดลต่อไป” ทีมเขียนในบล็อก “ คอยติดตามความคืบหน้าของเราในโครงการที่น่าตื่นเต้นเหล่านี้”