ในช่วงไม่กี่ปีที่ผ่านมา เทคโนโลยี generative AI ได้พัฒนาอย่างรวดเร็ว แต่วิธีการแบบดั้งเดิมที่อาศัยเพียงการเพิ่มข้อมูลและพลังการประมวลผลเพื่อปรับปรุงประสิทธิภาพของ AI ได้มาถึงจุดคอขวด บรรณาธิการของ Downcodes ได้เรียนรู้ว่านักวิทยาศาสตร์ AI ชั้นนำหลายคนชี้ให้เห็นว่าสาขา AI กำลังเปลี่ยนจากยุคแห่งการขยายขนาดไปสู่ยุคใหม่ที่มุ่งเน้นไปที่นวัตกรรมที่ก้าวล้ำ การเปลี่ยนแปลงนี้หมายความว่าการพัฒนา AI จะให้ความสำคัญกับการปรับปรุงคุณภาพของแบบจำลองมากกว่าการขยายขนาดเพียงอย่างเดียว เส้นทางและวิธีการทางเทคนิคใหม่กำลังได้รับการสำรวจและประยุกต์ใช้ ซึ่งนำโอกาสและความท้าทายใหม่ ๆ มาสู่การพัฒนาด้าน AI ในอนาคต
ด้วยการพัฒนาอย่างรวดเร็วของ generative AI ความเข้าใจดั้งเดิมของอุตสาหกรรมที่ว่าใหญ่กว่าดีกว่าก็กำลังเปลี่ยนแปลงไป นักวิทยาศาสตร์ AI ชั้นนำหลายคนระบุเมื่อเร็วๆ นี้ว่าวิธีปรับปรุงประสิทธิภาพของ AI เพียงเพิ่มปริมาณข้อมูลและพลังการประมวลผลกำลังใกล้ถึงจุดคอขวด และทิศทางความก้าวหน้าทางเทคโนโลยีใหม่ ๆ กำลังเกิดขึ้น
Ilya Sutskever ผู้ร่วมก่อตั้ง Safe Superintelligence และ OpenAI แสดงความคิดเห็นเมื่อเร็ว ๆ นี้ว่าวิธีการฝึกอบรมก่อนการฝึกอบรมแบบดั้งเดิมได้เข้าสู่จุดด้อยด้านประสิทธิภาพแล้ว การยืนยันนี้มีความโดดเด่นเป็นพิเศษ เนื่องจากเป็นการสนับสนุนในช่วงแรกๆ ของวิธีการฝึกอบรมล่วงหน้าขนาดใหญ่ที่ก่อให้เกิด ChatGPT วันนี้เขากล่าวว่าสาขา AI ได้ย้ายจากยุคแห่งการขยายขนาดไปสู่ยุคแห่งปาฏิหาริย์และการค้นพบ
ปัจจุบัน การฝึกอบรมโมเดลขนาดใหญ่เผชิญกับความท้าทายหลายประการ ได้แก่ ค่าใช้จ่ายในการฝึกอบรมหลายสิบล้านดอลลาร์ ความเสี่ยงของความล้มเหลวของฮาร์ดแวร์ที่เกิดจากความซับซ้อนของระบบ รอบการทดสอบที่ยาวนาน และข้อจำกัดของทรัพยากรข้อมูลและการจัดหาพลังงาน ปัญหาเหล่านี้ทำให้นักวิจัยต้องสำรวจเส้นทางเทคโนโลยีใหม่ๆ
เทคโนโลยีการประมวลผลเวลาทดสอบได้รับความสนใจอย่างกว้างขวาง แนวทางนี้ทำให้โมเดล AI สามารถสร้างและประเมินตัวเลือกต่างๆ ได้แบบเรียลไทม์ระหว่างการใช้งาน แทนที่จะให้คำตอบเดียวโดยตรง Noam Brown นักวิจัยของ OpenAI ทำการเปรียบเทียบที่ชัดเจน: การขอให้ AI คิดเกี่ยวกับเกมโป๊กเกอร์เป็นเวลา 20 วินาทีนั้นมีประสิทธิภาพเท่ากับการขยายขนาดโมเดลและเวลาฝึกฝน 100,000 ครั้ง
ปัจจุบัน ห้องปฏิบัติการ AI ชั้นนำหลายแห่ง รวมถึง OpenAI, Anthropic, xAI และ DeepMind กำลังพัฒนาเวอร์ชันทางเทคนิคของตนเองอย่างแข็งขัน OpenAI ได้ใช้เทคโนโลยีนี้ในโมเดล o1 ล่าสุด และประธานเจ้าหน้าที่ฝ่ายผลิตภัณฑ์ Kevin Weil กล่าวว่าด้วยวิธีการที่เป็นนวัตกรรมเหล่านี้ พวกเขามองเห็นโอกาสมากมายในการปรับปรุงประสิทธิภาพของโมเดล
ผู้เชี่ยวชาญในอุตสาหกรรมเชื่อว่าการเปลี่ยนแปลงในเส้นทางเทคโนโลยีนี้อาจกำหนดรูปแบบการแข่งขันของอุตสาหกรรม AI ทั้งหมด และเปลี่ยนแปลงโครงสร้างความต้องการขั้นพื้นฐานของบริษัท AI สำหรับทรัพยากรต่างๆ นี่เป็นเครื่องหมายว่าการพัฒนา AI กำลังเข้าสู่ขั้นตอนใหม่ที่ให้ความสำคัญกับการปรับปรุงคุณภาพมากกว่าการขยายขนาดเพียงอย่างเดียว
ความก้าวหน้าทางเทคโนโลยีใหม่ได้นำโอกาสการพัฒนาใหม่มาสู่อุตสาหกรรม AI และยังเสนอแนวคิดใหม่เกี่ยวกับทิศทางการพัฒนา AI ในอนาคต บรรณาธิการของ Downcodes เชื่อว่าในการพัฒนาในอนาคต เทคโนโลยีที่เป็นนวัตกรรมใหม่ๆ จะยังคงปรากฏในสาขา AI ต่อไป ส่งเสริมการพัฒนาเทคโนโลยี AI ในระดับที่ลึกยิ่งขึ้น และเป็นประโยชน์ต่อสังคมมนุษย์ในท้ายที่สุด