أصدرت مؤسسة RWKV مفتوحة المصدر نموذج RWKV-6-World14B، والذي يعد حاليًا واحدًا من أقوى نماذج اللغات الكبيرة RNN الكثيفة والنقية في العالم. يتفوق النموذج في قدرات متعددة اللغات، ويدعم أكثر من 100 لغة ورمز، ويتفوق على نماذج مثل Llama2 13B وQwen 1.5 14B في معايير متعددة. ينبع أدائها الممتاز من تحسين بنية RWKV، ويتجنب تحسين اختبارات قياس الأداء المحددة أثناء عملية التدريب، مما يضمن القدرات الحقيقية وقدرات التعميم للنموذج. يمكن للمستخدمين تنزيل النموذج ونشره بسهولة من خلال منصات مثل Hugging Face وModelScope وWiseModel.
في 19 يوليو 2024، أعلنت مؤسسة RWKV مفتوحة المصدر عن المصدر العالمي المفتوح لنموذج RWKV-6-World14B، والذي يعد حاليًا أقوى نموذج لغة كبير RNN كثيفًا ونقيًا. كان أداء النموذج جيدًا في أحدث اختبار للأداء، حيث يعادل أداء اللغة الإنجليزية Llama213B، ويتقدم بشكل كبير في الأداء متعدد اللغات، حيث يدعم أكثر من 100 لغة ورمز حول العالم.
يشتمل الاختبار المعياري للنموذج على 4 نماذج لغات كبيرة مفتوحة المصدر بمقياس يقارب 14B معلمة، و12 اختبارًا معياريًا مستقلاً لتقييم أداء اللغة الإنجليزية، وأربعة اختبارات معيارية لـ xLAMBDA وxStoryCloze وxWinograd وxCopa لتقييم القدرات المتعددة اللغات. كان أداء RWKV-6-World14B جيدًا في هذه الاختبارات، خاصة في قائمة تصنيف Uncheatable Eval، حيث تجاوزت درجة التقييم الشامل llama213B وQwen1.514B.
يستفيد تحسين أداء طراز RWKV-6-World14B من التحسينات المعمارية من RWKV-4 إلى RWKV-6. لم يضيف هذا النموذج أي مجموعات بيانات اختبار مرجعية أثناء التدريب، متجنبًا التحسين الخاص، لذا فإن قدرته الفعلية أقوى من تصنيف النقاط. في تقييم Uncheatable Eval، تم تقييم RWKV-6-World14B بناءً على بيانات في الوقت الفعلي مثل أحدث أوراق arXiv والأخبار وروايات ao3 وأكواد GitHub التي تم إصدارها في يوليو، مما يوضح قدراته الحقيقية في النمذجة وقدرات التعميم.
حاليًا، يمكن تنزيل نموذج RWKV-6-World14B ونشره محليًا من خلال منصات مثل Hugging Face وModelScope وWiseModel. نظرًا لأن Ai00 يدعم فقط النماذج بتنسيق Safetensor (.st)، يمكنك أيضًا تنزيل النماذج التي تم تحويلها إلى تنسيق .st في مستودع Ai00HF. تختلف متطلبات ذاكرة الرسومات للنشر المحلي واستنتاج نموذج RWKV-6-World14B من حوالي 10 جيجا إلى 28 جيجا اعتمادًا على طريقة القياس الكمي.
تتضمن معاينة التأثير لنموذج RWKV-6-World14B معالجة اللغة الطبيعية (تحليل المشاعر، فهم القراءة الآلية)، والشعر النثري والإبداع الأدبي، وقراءة الرموز وتعديلها، واقتراحات اختيار موضوعات الأوراق المالية، واستخراج المحتوى الرئيسي للأخبار، وجملة واحدة توسيع النص، وكتابة سيناريوهات تطبيقية متعددة مثل لعبة Python Snake.
تجدر الإشارة إلى أن جميع نماذج RWKV التي تم إصدارها مفتوحة المصدر هي نماذج أساسية تتمتع بقدرات معينة على الأوامر والحوار، ولكن لم يتم تحسينها لمهام محددة. إذا كنت تريد أن يؤدي نموذج RWKV أداءً جيدًا في مهمة محددة، فمن المستحسن استخدام مجموعات البيانات الخاصة بالمهام ذات الصلة لتحسين التدريب.
عنوان المشروع:
معانقة الوجه: https://huggingface.co/BlinkDL/rwkv-6-world/tree/main
موديلسكوب:https://modelscope.cn/models/RWKV/rwkv-6-world/files
WiseModel: https://wisemodel.cn/models/rwkv4fun/Rwkv-6-world/file
باختصار، حقق المصدر المفتوح لنموذج RWKV-6-World14B اختراقات جديدة في مجال نماذج اللغات الكبيرة، وأدائه القوي وآفاق التطبيق الواسعة تستحق التطلع إليها. يمكن للمطورين تنزيل وإجراء المزيد من الاستكشاف والتطبيق على منصات مختلفة وفقًا لاحتياجاتهم الخاصة.