أصدر مختبر IPADS بجامعة شنغهاي جياو تونغ مؤخرًا إطار عمل PowerInfer، وقد أدى هذا الإنجاز المذهل إلى تحسين كفاءة تشغيل نماذج اللغات الكبيرة على الأجهزة المخصصة للمستهلكين بشكل كبير. يمكن لإطار عمل PowerInfer زيادة سرعة الاستدلال البالغة 80GA100 بمقدار 11 مرة دون الحاجة إلى تكميم النموذج والحفاظ على دقة FP16. وهذا يعني أن تشغيل نماذج اللغات الكبيرة على أجهزة الكمبيوتر الشخصية لم يعد حلماً بعيد المنال، مما يوفر دعمًا فنيًا قويًا لنشر النماذج الكبيرة وتطبيقها.
أصدر مختبر IPADS بجامعة شنغهاي جياو تونغ إطار عمل PowerInfer، الذي يزيد من سرعة الاستدلال المباشر 80GA100 بمقدار 11 مرة دون الحاجة إلى القياس الكمي. استخدام دقة FP16 لحل عنق الزجاجة عند تشغيل النماذج الكبيرة على أجهزة الكمبيوتر الشخصية. لقد تم الترحيب بـ PowerInfer ترحيبًا حارًا ويوفر حلاً جديدًا لتطبيق النماذج الكبيرة على الأجهزة المخصصة للمستهلكين.
يعمل إصدار إطار عمل PowerInfer على حل مشكلة بطء سرعة تشغيل النماذج الكبيرة على أجهزة الكمبيوتر الشخصية، مما يمثل خطوة نحو مرحلة أكثر ملاءمة وشمولية لتطبيق النماذج الكبيرة. ستعمل كفاءتها وراحتها على تعزيز تطبيق وتطوير تكنولوجيا النماذج الكبيرة بشكل كبير، مما يوفر تجارب أكثر ثراء وإمكانيات أوسع للمستخدمين والمطورين الأفراد.