مع التطور السريع لتكنولوجيا الذكاء الاصطناعي ، أصبحت أهمية نماذج اللغة الكبيرة (LLMS) في تطبيقات المؤسسات بارزة بشكل متزايد. ومع ذلك ، فإن كيفية تحسين دقة المعرفة لهذه النماذج وتقليل الهلوسة التي تنتجها أصبحت مشكلة رئيسية تحتاج إلى حل بشكل عاجل في حقل الذكاء الاصطناعي الحالي. على هذه الخلفية ، اقترح فريق البحث في Meta AI حلاً مبتكرًا - "طبقة الذاكرة القابلة للتطوير" ، مما يجعل ضوءًا جديدًا لهذا التحدي.
مفهوم التصميم لطبقة الذاكرة القابلة للتطوير هو تطلعية تمامًا. هذه الهندسة المعمارية مناسبة بشكل خاص لسيناريوهات التطبيق حيث تكون المعرفة الواقعية الضخمة مطلوبة مع الحفاظ على سرعة الاستدلال الفعالة ، وفتح طرق جديدة لتحسين أداء نماذج اللغة.
غالبًا ما تستخدم نماذج اللغة التقليدية "طبقات مكثفة" لترميز المعلومات. في المقابل ، تعتمد طبقة الذاكرة آلية تفعيل أكثر كفاءة وتفتيش قيمة مفتاح ، والتي تتيح ترميز واسترجاع المعرفة بتكلفة حسابية أقل. على الرغم من أنها أعلى قليلاً من الطبقة الكثيفة من حيث استخدام الذاكرة ، إلا أنها تحتاج فقط إلى تنشيط عدد صغير من المعلمات ، مما يحسن بشكل كبير من كفاءة الحوسبة.
على الرغم من وجود مفهوم طبقة الذاكرة لسنوات عديدة ، إلا أن تطبيقها في بنيات التعلم العميق الحديثة محدود نسبيًا ، وذلك بشكل أساسي لأنه لم يكن قادرًا على التكيف تمامًا مع مسرعات الأجهزة الحالية. تجدر الإشارة إلى أن LLMs المتقدمة تتبنى عمومًا بنية "خبراء مختلطة" ، والتي لها أوجه تشابه مع طبقة الذاكرة في بعض الجوانب ، وتؤكد على تخصص وحدات محددة.
للتغلب على تحديات طبقة الذاكرة في استخدام الذاكرة ، قام فريق أبحاث Meta بالعديد من التحسينات المبتكرة. لقد صمموا بنية متوازية لطبقات الذاكرة ، مما يسمح لها بتخزين ملايين أزواج القيمة الرئيسية على وحدات معالجة الرسومات المتعددة مع الحفاظ على تشغيل النموذج بسرعة. بالإضافة إلى ذلك ، قام الفريق بتطوير CUDA Core خاص للتعامل مع عمليات النطاق الترددي العالي للذاكرة وقدم آلية لمشاركة المعلمات ، مما يسمح لطبقات الذاكرة المتعددة بمشاركة نفس مجموعة معلمات الذاكرة ، مما يؤدي إلى زيادة كفاءة استخدام الموارد.
أجرى فريق البحث اختبارًا شاملاً لنموذج تحسين الذاكرة من خلال استبدال بعض الطبقات الكثيفة بطبقات الذاكرة المشتركة من خلال تحويل نموذج LLAMA. تُظهر النتائج التجريبية أن نماذج الذاكرة تعمل بشكل جيد في مهام متعددة ، خاصة في المهام التي تتطلب معرفة واقعية.
يشير هذا البحث إلى اتجاه تطوير بنية AI من الجيل التالي. يوصي باحثو META بقوة دمج طبقة الذاكرة في أنظمة الذكاء الاصطناعى المستقبلية لتقليل ظاهرة النسيان والهلوسة للنموذج بشكل فعال. مع التقدم المستمر للتكنولوجيا ، من المتوقع أن تلعب طبقة الذاكرة القابلة للتطوير دورًا أكثر أهمية في تحسين أداء نماذج اللغة ، مما يؤدي إلى تغييرات ثورية في التطبيق العملي لتكنولوجيا الذكاء الاصطناعي.