ในด้านปัญญาประดิษฐ์การฝึกอบรมแบบจำลองภาษาขนาดใหญ่ (LLM) เป็นงานที่ต้องใช้ทรัพยากรมากโดยปกติแล้วยักษ์เทคโนโลยีเพียงไม่กี่คนเท่านั้นที่สามารถทำได้ อย่างไรก็ตามวิธีการฝึกเกลือที่เพิ่งเปิดตัวเมื่อเร็ว ๆ นี้ของ Google นวัตกรรมนี้ไม่เพียง แต่ช่วยลดค่าใช้จ่ายในการฝึกอบรม แต่ยังช่วยปรับปรุงประสิทธิภาพของแบบจำลองเปิดประตูสู่การพัฒนา AI สำหรับสถาบันการวิจัยและองค์กรเพิ่มเติม
หมายเหตุแหล่งที่มาของภาพ: ภาพถูกสร้างขึ้นโดย AI และผู้ให้บริการที่ได้รับอนุญาตภาพ Midjourney
แกนหลักของวิธีเกลืออยู่ในกระบวนการฝึกอบรมสองขั้นตอน ขั้นตอนแรกคือการกลั่นความรู้และรูปแบบภาษาขนาดเล็ก (SLM) ทำหน้าที่เป็น "ครู" ผ่านความรู้ที่เรียนรู้ไปยังแบบจำลองขนาดใหญ่ผ่าน "แท็กอ่อน" ขั้นตอนนี้เหมาะอย่างยิ่งสำหรับงานพื้นฐานที่รุ่นเล็ก ๆ มีความเชี่ยวชาญช่วยให้โมเดลขนาดใหญ่เป็นรากฐานที่แข็งแกร่งในการเรียนรู้ก่อน
ขั้นตอนที่สองคือการเรียนรู้ที่ดูแลตนเองโดยมีแบบจำลองขนาดใหญ่เริ่มเรียนรู้อย่างอิสระโดยมุ่งเน้นไปที่งานที่ซับซ้อนมากขึ้น ขั้นตอนของการเปลี่ยนแปลงนี้ต้องใช้การออกแบบอย่างระมัดระวังรวมถึงกลยุทธ์เช่นการลดทอนเชิงเส้นและการลดทอนสัดส่วนเชิงเส้นเพื่อให้แน่ใจว่าแบบจำลองขนาดใหญ่สามารถลดการพึ่งพาแบบจำลองขนาดเล็กและในที่สุดก็บรรลุการเรียนรู้อิสระและการเพิ่มประสิทธิภาพ
การวิจัยของ Google แสดงให้เห็นว่าการใช้วิธีเกลือในการฝึกอบรมแบบจำลองขนาดใหญ่ที่มีพารามิเตอร์ 2.8 พันล้านมีการลดลง 28% ในเวลาและปรับปรุงความแม่นยำในปัญหาทางคณิตศาสตร์และงานการอ่านความเข้าใจ 3% และ 4% ตามลำดับ การปรับปรุงประสิทธิภาพที่สำคัญนี้ไม่เพียง แต่แสดงให้เห็นถึงประสิทธิภาพของเกลือ แต่ยังแสดงให้เห็นถึงศักยภาพที่แข็งแกร่งในงานที่ซับซ้อน
การเกิดขึ้นของเกลือไม่เพียง แต่ช่วยเพิ่มประสิทธิภาพการฝึกอบรม แต่ยังช่วยลดเกณฑ์สำหรับการพัฒนา AI ในอดีตค่าใช้จ่ายในการฝึกอบรมมีเพียง บริษัท เทคโนโลยีขนาดใหญ่เท่านั้นที่สามารถจ่ายได้และตอนนี้สถาบันการวิจัยและ บริษัท ขนาดเล็กจำนวนมากสามารถเข้าร่วมได้ สิ่งนี้จะส่งเสริมการเกิดขึ้นของโซลูชั่น AI ที่เป็นนวัตกรรมและเป็นมืออาชีพมากขึ้นและส่งเสริมการพัฒนาด้านปัญญาประดิษฐ์
โดยทั่วไปวิธีเกลือไม่เพียง แต่ช่วยปรับปรุงประสิทธิภาพของโมเดลขนาดใหญ่โดยการแนะนำการฝึกอบรมเสริมของรุ่นเล็ก ๆ แต่ยังช่วยลดค่าใช้จ่ายในการฝึกอบรมได้อย่างมาก นวัตกรรมนี้คาดว่าจะก่อให้เกิดการปฏิวัติในด้าน AI ทำให้สถาบันต่างๆสามารถเข้าร่วมในการวิจัยและพัฒนา AI และส่งเสริมความก้าวหน้าของอุตสาหกรรมทั้งหมด