أصدرت Answer.AI وLightOn بشكل مشترك نموذج اللغة مفتوح المصدر ModernBERT، والذي يعد تحسينًا كبيرًا مقارنة بـ Google BERT وقد أدى إلى تحسين السرعة والكفاءة والجودة بشكل كبير. يعالج ModernBERT أربع مرات أسرع من BERT، ويستخدم ذاكرة أقل، ويمكنه التعامل مع نص يصل إلى 8192 رمزًا، وهو أسرع 16 مرة من النماذج الحالية. كما حققت تقدمًا كبيرًا في تشفير أكواد البرمجة لأول مرة، حيث سجلت أكثر من 80 نقطة في مجموعة بيانات StackOverflow Q&A، مسجلة رقمًا قياسيًا جديدًا. والأهم من ذلك، أن ModernBERT يقلل بشكل كبير من تكلفة معالجة النصوص على نطاق واسع ويمكن تشغيله على أجهزة عادية من فئة المستهلك، مما يجعله أكثر فعالية من حيث التكلفة من نماذج مثل GPT-4.
يسمح تصميم ModernBERT بمعالجة نص يصل طوله إلى 8192 رمزًا مميزًا، وهو ما يمثل تحسينًا بمقدار 16 ضعفًا عن الحد النموذجي البالغ 512 رمزًا مميزًا لنماذج التشفير الحالية. بالإضافة إلى ذلك، يعد ModernBERT أول نموذج لتشفير أكواد البرمجة تم تدريبه على نطاق واسع، حيث حقق درجة تزيد عن 80 في مجموعة بيانات StackOverflow Q&A، مما سجل رقمًا قياسيًا جديدًا لنماذج التشفير.
في تقييم فهم اللغة العامة (GLUE)، حققت ModernBERT-Large أفضل توازن بين سرعة المعالجة ودقتها، مع وقت معالجة يبلغ حوالي 20 مللي ثانية لكل رمز مميز ودرجة 90. قام فريق التطوير بمقارنة ModernBERT بوضوح مع سيارة Honda Civic المعدلة، مع التركيز على أنها موثوقة وفعالة في التطبيقات اليومية.
بالمقارنة مع نماذج اللغات الحالية واسعة النطاق مثل GPT-4، فإن ModernBERT يقلل بشكل كبير من تكلفة معالجة النصوص على نطاق واسع. تبلغ تكلفة GPT-4 بضعة سنتات لكل استعلام، بينما يتم تشغيل ModernBERT محليًا، وهو أسرع وأرخص. على سبيل المثال، عندما قام مشروع FineWeb Edu بتصفية 15 مليار علامة، بلغت تكلفة استخدام نموذج BERT 60 ألف دولار أمريكي، وحتى باستخدام وحدة فك ترميز Gemini Flash من Google، كانت التكلفة أكثر من مليون دولار أمريكي.
يقول فريق التطوير إن ModernBERT مناسب تمامًا لمجموعة متنوعة من التطبيقات العملية، بما في ذلك أنظمة توليد الاسترجاع المعزز (RAG)، والبحث عن التعليمات البرمجية، ومراجعة المحتوى. على عكس GPT-4، الذي يتطلب أجهزة متخصصة، يمكن لـ ModernBERT العمل بفعالية على وحدات معالجة الرسومات العادية المخصصة للألعاب الاستهلاكية.
حاليًا، يتوفر ModernBERT في نسختين: النموذج الأساسي يحتوي على 139 مليون معلمة، والنسخة الكبيرة تحتوي على 395 مليون معلمة. تم إصدار كلا الإصدارين الآن على Hugging Face، ويمكن للمستخدمين استبدال نماذج BERT الحالية بهما مباشرةً. ويخطط فريق التطوير لإطلاق نسخة أكبر في العام المقبل، ولكن لا توجد خطط لقدرات متعددة الوسائط. للترويج لتطوير تطبيقات جديدة، يطلقون أيضًا مسابقة ستمنح 100 دولار واشتراك Hugging Face pro لمدة ستة أشهر لأفضل خمسة مقدمين.
منذ أن أطلقت جوجل BERT في عام 2018، أصبح النموذج أحد نماذج اللغات الأكثر شعبية، مع أكثر من 68 مليون عملية تنزيل شهرية على HuggingFace.
مدخل المشروع: https://huggingface.co/blog/modernbert
أبرز النقاط:
ModernBERT أسرع بأربع مرات من BERT ويمكنه التعامل مع نص يصل طوله إلى 8192 رمزًا.
بالمقارنة مع GPT-4، تم تقليل تكلفة ModernBERT في معالجة النصوص على نطاق واسع بشكل كبير وأصبح تشغيلها أكثر كفاءة.
يعتبر هذا النموذج جيدًا بشكل خاص في معالجة أكواد البرمجة، حيث سجل أكثر من 80 نقطة في مجموعة بيانات StackOverflow Q&A، مسجلاً رقمًا قياسيًا جديدًا.
باختصار، يوفر إصدار ModernBERT مفتوح المصدر للمطورين خيارًا فعالاً واقتصاديًا وقويًا لنموذج اللغة، ويتميز بمزايا كبيرة من حيث السرعة والكفاءة والقدرة على معالجة النصوص الطويلة، ومن المتوقع أن يعزز التطوير المبتكر لمزيد من تطبيقات الذكاء الاصطناعي . نتطلع إلى التحديثات المستقبلية والتطبيقات الأوسع.