ห้องปฏิบัติการแห่งชาติ Oak Ridge ในสหรัฐอเมริกาได้สร้างความก้าวหน้าครั้งสำคัญโดยใช้ Frontier ซึ่งเป็นซูเปอร์คอมพิวเตอร์ที่ทรงพลังที่สุดในโลก เพื่อฝึกฝนโมเดลภาษาที่เทียบเท่ากับ ChatGPT ได้สำเร็จโดยใช้พลังการประมวลผลเพียง 8% แบบจำลองนี้มีพารามิเตอร์นับล้านรายการ ด้วยการฝึกอบรมแบบกระจายที่เป็นนวัตกรรมและเทคโนโลยีแบบขนาน ทำให้ทีมวิจัยประสบความสำเร็จในการขยายประสิทธิภาพที่อ่อนแอ 100% โดยมอบประสบการณ์อันมีค่าและการอ้างอิงทางเทคนิคสำหรับการฝึกอบรมแบบจำลองภาษาขนาดใหญ่ขึ้นในอนาคต งานวิจัยนี้ไม่เพียงแต่แสดงให้เห็นถึงพลังของเทคโนโลยีซูเปอร์คอมพิวเตอร์เท่านั้น แต่ยังเน้นย้ำถึงความสำคัญของหน่วยความจำและความท้าทายอื่นๆ ในการจัดการกับการฝึกอบรมโมเดลภาษาขนาดใหญ่
นักวิทยาศาสตร์ใช้ซูเปอร์คอมพิวเตอร์ที่ทรงพลังที่สุดในโลกเพื่อฝึกฝนโมเดลระดับ ChatGPT ได้สำเร็จ โดยใช้พลังการประมวลผลเพียง 8% ความก้าวหน้าดังกล่าวมาจากห้องปฏิบัติการแห่งชาติโอ๊คริดจ์ ซึ่งทีมวิจัยใช้เทคโนโลยีที่เป็นนวัตกรรมเพื่อฝึกแบบจำลองภาษาล้านล้านพารามิเตอร์บนซูเปอร์คอมพิวเตอร์ Frontier ด้วยการฝึกอบรมแบบกระจายและเทคโนโลยีแบบขนาน ทำให้ได้ประสิทธิภาพการขยายที่อ่อนแอ 100% อย่างไรก็ตาม การฝึกโมเดลภาษาขนาดใหญ่ยังคงมีความท้าทายและจำเป็นต้องแก้ไขปัญหาด้านหน่วยความจำ งานวิจัยนี้มอบประสบการณ์ในการฝึกอบรมโมเดลภาษาขนาดใหญ่ในอนาคต และเน้นย้ำถึงบทบาทสำคัญของการฝึกอบรมแบบกระจายและการประมวลผลแบบคู่ขนานผลการวิจัยนี้นำมาซึ่งความเป็นไปได้ใหม่ๆ ในการพัฒนาด้านปัญญาประดิษฐ์ และยังบ่งชี้ว่าเทคโนโลยีการฝึกอบรมแบบจำลองภาษาขนาดใหญ่จะพัฒนาไปในทิศทางที่มีประสิทธิภาพและประหยัดพลังงานมากขึ้นในอนาคต การใช้ทรัพยากรคอมพิวเตอร์อย่างมีประสิทธิภาพเป็นทิศทางสำคัญสำหรับการพัฒนาโมเดลภาษาขนาดใหญ่ในอนาคต