ด้วยการพัฒนาอย่างรวดเร็วของเทคโนโลยีปัญญาประดิษฐ์ความสำคัญของแบบจำลองภาษาขนาดใหญ่ (LLMS) ในแอพพลิเคชั่นขององค์กรกำลังโดดเด่นมากขึ้นเรื่อย ๆ อย่างไรก็ตามวิธีการปรับปรุงความแม่นยำของความรู้ของแบบจำลองเหล่านี้และลดภาพหลอนที่พวกเขาผลิตได้กลายเป็นประเด็นสำคัญที่ต้องแก้ไขอย่างเร่งด่วนในสาขา AI ปัจจุบัน เมื่อเทียบกับฉากหลังนี้ทีมวิจัยของ Meta AI ได้เสนอโซลูชันที่เป็นนวัตกรรม - "เลเยอร์หน่วยความจำที่ปรับขนาดได้" นำแสงใหม่มาสู่ความท้าทายนี้
แนวคิดการออกแบบของเลเยอร์หน่วยความจำที่ปรับขนาดได้นั้นค่อนข้างคาดการณ์ล่วงหน้า สถาปัตยกรรมนี้เหมาะอย่างยิ่งสำหรับสถานการณ์แอปพลิเคชันที่จำเป็นต้องมีความรู้จริง ๆ ในขณะที่ยังคงรักษาความเร็วการอนุมานที่มีประสิทธิภาพเปิดวิธีการใหม่เพื่อปรับปรุงประสิทธิภาพของแบบจำลองภาษา
แบบจำลองภาษาแบบดั้งเดิมมักใช้ "เลเยอร์แบบเข้มข้น" เพื่อเข้ารหัสข้อมูล ในทางตรงกันข้ามเลเยอร์หน่วยความจำใช้การเปิดใช้งานที่กระจัดกระจายและกลไกการค้นหาคีย์-ค่าซึ่งช่วยให้การเข้ารหัสและดึงความรู้ในราคาที่ต่ำกว่า แม้ว่ามันจะสูงกว่าเลเยอร์หนาแน่นเล็กน้อยในแง่ของการใช้หน่วยความจำ แต่ก็ต้องเปิดใช้งานพารามิเตอร์จำนวนน้อยเท่านั้นซึ่งช่วยปรับปรุงประสิทธิภาพการคำนวณอย่างมาก
แม้ว่าแนวคิดของเลเยอร์หน่วยความจำมีมานานหลายปี แต่การประยุกต์ใช้ในสถาปัตยกรรมการเรียนรู้ลึกที่ทันสมัยนั้นค่อนข้าง จำกัด แต่ส่วนใหญ่เป็นเพราะมันไม่สามารถปรับให้เข้ากับตัวเร่งฮาร์ดแวร์ปัจจุบันได้อย่างเต็มที่ เป็นที่น่าสังเกตว่า LLM ขั้นสูงในปัจจุบันโดยทั่วไปใช้สถาปัตยกรรม "ผู้เชี่ยวชาญไฮบริด" ซึ่งมีความคล้ายคลึงกับเลเยอร์หน่วยความจำในบางแง่มุมและเน้นความเชี่ยวชาญของโมดูลเฉพาะ
เพื่อเอาชนะความท้าทายของเลเยอร์หน่วยความจำในการใช้หน่วยความจำทีมวิจัยของเมตาได้ทำการปรับปรุงนวัตกรรมหลายครั้ง พวกเขาออกแบบสถาปัตยกรรมแบบขนานสำหรับเลเยอร์หน่วยความจำช่วยให้สามารถเก็บคู่คีย์ค่าหลายล้านคู่ไว้ใน GPU หลายตัวในขณะที่ทำให้รุ่นทำงานด้วยความเร็ว นอกจากนี้ทีมได้พัฒนา CUDA Core พิเศษเพื่อจัดการการทำงานของแบนด์วิดท์หน่วยความจำสูงและแนะนำกลไกการแชร์พารามิเตอร์ช่วยให้เลเยอร์หน่วยความจำหลายตัวสามารถแชร์พารามิเตอร์หน่วยความจำชุดเดียวกันได้เพิ่มประสิทธิภาพการใช้ทรัพยากร
ทีมวิจัยได้ทำการทดสอบแบบจำลองการปรับปรุงหน่วยความจำที่ครอบคลุมโดยการแทนที่เลเยอร์หนาแน่นบางชั้นด้วยเลเยอร์หน่วยความจำที่ใช้ร่วมกันผ่านการเปลี่ยนแปลงของโมเดล Llama ผลการทดลองแสดงให้เห็นว่าโมเดลหน่วยความจำทำงานได้ดีในหลาย ๆ งานโดยเฉพาะอย่างยิ่งในงานที่ต้องการความรู้จริง
การวิจัยนี้ชี้ให้เห็นทิศทางสำหรับการพัฒนาสถาปัตยกรรม AI รุ่นต่อไป นักวิจัย Meta ขอแนะนำให้รวมเลเยอร์หน่วยความจำเข้ากับระบบ AI ในอนาคตเพื่อลดปรากฏการณ์การหลงลืมและภาพหลอนของโมเดลได้อย่างมีประสิทธิภาพ ด้วยความก้าวหน้าอย่างต่อเนื่องของเทคโนโลยีชั้นหน่วยความจำที่ปรับขนาดได้คาดว่าจะมีบทบาทสำคัญมากขึ้นในการปรับปรุงประสิทธิภาพของแบบจำลองภาษาทำให้เกิดการเปลี่ยนแปลงการปฏิวัติเพื่อการประยุกต์ใช้เทคโนโลยี AI ในทางปฏิบัติ