Orion ไม่เพียงแต่เป็นโมเดลเจนเนอเรชั่นถัดไปที่ OpenAI คาดหวังไว้มากเท่านั้น แต่ยังรวมถึง Anthropic ซึ่งเป็นสตาร์ทอัพด้านปัญญาประดิษฐ์ (AI) ดาวเด่นอีกรายที่เป็นคู่แข่งกันของ Google และ OpenAI ยังได้รายงานด้วยว่าการพัฒนาโมเดล AI ขั้นสูงประสบปัญหาคอขวด
เมื่อวันพุธที่ 13 พฤศจิกายน ตามเวลาตะวันออก บลูมเบิร์กรายงานว่า OpenAI เสร็จสิ้นการฝึกอบรม Orion รอบแรกในเดือนกันยายนปีนี้ โดยหวังว่าจะเหนือกว่าบางเวอร์ชันก่อนหน้าอย่างมาก และเข้าใกล้เป้าหมายที่ AI เหนือกว่ามนุษย์มากขึ้น โดยอ้างถึงคนสองคนที่คุ้นเคยกับ เรื่องนี้ แต่ Orion ล้มเหลวในการดำเนินการตามที่บริษัทหวังไว้ เมื่อถึงปลายฤดูร้อน โมเดลดังกล่าวทำงานได้ไม่ดีเมื่อพยายามตอบคำถามเกี่ยวกับการเขียนโค้ดที่ไม่ได้รับการฝึก
คนที่คุ้นเคยกับเรื่องนี้แสดงความคิดเห็นว่า โดยรวมแล้ว เมื่อเปรียบเทียบกับประสิทธิภาพของ GPT-4 ที่เกินกว่า GPT-3.5 แล้ว โมเดลที่มีอยู่ของ Orion และ OpenAI ก็ยังไม่มีความก้าวหน้ามากนัก
รายงานยังอ้างคำพูดของบุคคลอีกสามคนที่คุ้นเคยกับเรื่องนี้ โดยบอกว่า Gemini เวอร์ชันใหม่ของ Google ไม่เป็นไปตามความคาดหวังภายใน และ Anthropic ก็เลื่อนการเปิดตัวโมเดล Claude ที่รู้จักกันในชื่อ 3.5 Opus ตามแผนออกไปด้วย
รายงานเชื่อว่าทั้งสามบริษัทข้างต้นเผชิญกับความท้าทายหลายประการในการพัฒนาโมเดล AI เป็นเรื่องยากมากขึ้นสำหรับพวกเขาในการค้นหาข้อมูลการฝึกอบรมประดิษฐ์คุณภาพสูงที่ยังไม่ได้ใช้ ตัวอย่างเช่น ประสิทธิภาพการเข้ารหัสที่ไม่น่าพอใจของ Orion ส่วนหนึ่งเกิดจากการขาดข้อมูลการเข้ารหัสที่เพียงพอสำหรับการฝึกอบรม การปรับปรุงประสิทธิภาพของโมเดลเพียงเล็กน้อยอาจไม่เพียงพอที่จะพิสูจน์ให้เห็นถึงต้นทุนมหาศาลในการสร้างและใช้งานโมเดลใหม่ หรือเพื่อตอบสนองความคาดหวังของการอัพเกรดครั้งใหญ่
ปัญหาคอขวดของการพัฒนาโมเดล AI ท้าทายกฎหมายการปรับขนาดซึ่งถือเป็นแนวทางโดยสตาร์ทอัพหลายแห่งและแม้แต่ยักษ์ใหญ่ด้านเทคโนโลยี นอกจากนี้ยังตั้งคำถามถึงความเป็นไปได้ของการลงทุนจำนวนมากใน AI เพื่อบรรลุปัญญาประดิษฐ์ทั่วไป (agi)
Wall Street News เคยกล่าวไว้ว่ากฎหมายที่เสนอโดย OpenAI ในปี 2020 หมายความว่าประสิทธิภาพขั้นสุดท้ายของโมเดลขนาดใหญ่ส่วนใหญ่จะเกี่ยวข้องกับปริมาณการคำนวณ จำนวนพารามิเตอร์ของโมเดล และจำนวนข้อมูลการฝึกอบรม และเกี่ยวข้องกับ โครงสร้างเฉพาะ (เลเยอร์) ของแบบจำลอง จำนวน/ความลึก/ความกว้าง) โดยทั่วไปแล้วไม่เกี่ยวข้อง ในเดือนกรกฎาคมของปีนี้ Kevin Scott ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยี (CTO) ของ Microsoft ยังได้ปกป้องกฎหมายนี้ โดยกล่าวว่ากฎหมายมาตราส่วนยังคงบังคับใช้กับอุตสาหกรรมปัจจุบัน - ในขณะที่ขยายโมเดลขนาดใหญ่ แต่ผลประโยชน์ส่วนเพิ่มก็ไม่ลดลง บังเอิญที่สื่อรายงานข่าวเมื่อสัปดาห์ที่แล้วว่า OpenAI พบว่า Orion "ไม่ได้ก้าวกระโดดครั้งใหญ่" และความคืบหน้ายังน้อยกว่ารุ่นเรือธงสองรุ่นก่อนหน้านี้มาก การค้นพบนี้ท้าทายกฎหมายมาตราส่วนที่กำลังดำเนินการในด้าน AI โดยตรง เนื่องจากข้อมูลการฝึกอบรมคุณภาพสูงลดลงและต้นทุนการคำนวณที่เพิ่มขึ้น นักวิจัยที่ OpenAI จึงต้องเริ่มสำรวจว่ามีวิธีอื่นในการปรับปรุงประสิทธิภาพของแบบจำลองหรือไม่ตัวอย่างเช่น OpenAI กำลังฝังความสามารถในการเขียนโค้ดเพิ่มเติมลงในโมเดล และกำลังพยายามพัฒนาซอฟต์แวร์ที่สามารถควบคุมพีซีเพื่อทำกิจกรรมเว็บเบราว์เซอร์หรืองานแอปพลิเคชันโดยการคลิก การเคลื่อนไหวของเคอร์เซอร์ และการกระทำอื่น ๆ
OpenAI ยังได้จัดตั้งทีมงานเฉพาะซึ่งนำโดย Nick Ryder ซึ่งก่อนหน้านี้รับผิดชอบด้านการฝึกอบรมล่วงหน้า เพื่อสำรวจวิธีเพิ่มประสิทธิภาพข้อมูลการฝึกอบรมที่มีจำกัด และปรับการประยุกต์ใช้วิธีการขยายเพื่อรักษาเสถียรภาพของการปรับปรุงแบบจำลอง
เกี่ยวกับรายงานของ Bloomberg เมื่อวันพุธ โฆษกของ Google DeepMind กล่าวว่าบริษัท "พอใจกับความคืบหน้าของ Gemini และเราจะแบ่งปันข้อมูลเพิ่มเติมเมื่อพร้อม" OpenAI ปฏิเสธที่จะแสดงความคิดเห็น Anthropic ยังปฏิเสธที่จะแสดงความคิดเห็น แต่อ้างถึงบล็อกโพสต์ที่เผยแพร่เมื่อวันจันทร์ ซึ่ง Dario Amodei CEO ของ Anthropic พูดระหว่างพอดแคสต์ความยาวห้าชั่วโมง
Amodel กล่าวว่าสิ่งที่ผู้คนเรียกว่ากฎมาตราส่วนไม่ใช่กฎที่เรียกผิด มันไม่ใช่กฎสากล แต่เป็นกฎเชิงประจักษ์ Amodel คาดว่ากฎหมายการปรับขนาดจะยังคงมีอยู่ แต่ก็ไม่แน่ใจ เขากล่าวว่ามี "หลายสิ่งหลายอย่าง" ที่อาจ "ขัดขวาง" ความก้าวหน้าของ AI ที่ทรงพลังยิ่งขึ้นในอีกไม่กี่ปีข้างหน้า ซึ่งรวมถึง "เราอาจไม่มีข้อมูล" แต่เขามองในแง่ดีว่าบริษัท AI จะหาทางเอาชนะอุปสรรคต่างๆ
เกี่ยวกับรายงานของ Bloomberg นั้น Nosson Weissman ผู้ก่อตั้ง NossonAI ซึ่งเป็นบริษัทที่ให้บริการโซลูชัน AI ที่ปรับแต่งสำหรับองค์กรต่างๆ ให้ความเห็นว่ารายงานดังกล่าวไม่ได้ทำให้เขาสับสน เพราะประการแรก เขาไม่เห็นการแสดงออกของผู้เชี่ยวชาญที่แท้จริงที่มีส่วนร่วมอย่างมีนัยสำคัญ ในด้าน AI ประการที่สองเรามักจะเห็นความก้าวหน้าอย่างมากในการสร้างแบบจำลอง และสุดท้าย เขาเชื่อว่าสื่อข่าวชอบสร้างดราม่า และรายงานนี้ดูเหมือนจะมีพาดหัวข่าวที่สวยงาม
