اعتمدت شركة Yuanshi Intelligence (RWKV) على بنيتها التوليدية التوليدية للذكاء الاصطناعي لتلقي عشرات الملايين من اليوانات في شكل تمويل ملائكي في ديسمبر 2023، مما ضاعف تقييمها. قادت Skyrim Capital هذه الجولة من التمويل، وسيتم استخدام الأموال بشكل أساسي لبناء الفريق والبحث والتطوير التكنولوجي وتسويق المنتجات. باعتبارها محاولة مبتكرة لبنية المحولات التقليدية، تهدف بنية RWKV إلى حل أوجه القصور في كفاءة ودقة نماذج اللغات الكبيرة الحالية وتلتزم بفتح إمكانيات جديدة في مجال الذكاء الاصطناعي.
على خلفية موجة الذكاء الاصطناعي التوليدي العالمية في عام 2022، أكملت شركة Yuanshi Intelligence (RWKV) عشرات الملايين من اليوانات في تمويل جولة ملائكية في ديسمبر 2023، استثمرتها شركة Skyrim Capital. وبعد هذا التمويل، تضاعف تقييم الشركة، وسيتم استخدام الأموال لتوسيع الفريق، والبحث والتطوير في الهيكل الجديد، وتسويق المنتجات.
يمثل ظهور RWKV تحديًا قويًا لبنية المحولات التقليدية. مع تطور نماذج اللغة الكبيرة (LLM)، على الرغم من أن مقياس معلمات النموذج أصبح أكبر وأكبر، إلا أنه من الصعب دائمًا حل عيوبه في قضايا مثل الوهم والدقة. ولذلك، قرر الفريق المؤسس لشركة RWKV استكشاف بنية جديدة تمامًا لتحقيق قدر أكبر من الكفاءة والمرونة.
يختلف مفهوم تصميم RWKV تمامًا عن Transformer. قال المؤسس المشارك لو شوان إن نموذج المحول التقليدي يحتاج إلى إعادة قراءة النص السابق في كل مرة يقوم فيها بإنشاء رمز مميز، بينما لا يحتاج RWKV إلى تسجيل حالة كل رمز مميز، وبالتالي تقليل كمية الحساب بشكل كبير. تحقق RWKV اختراقات في الكفاءة وقدرات نمذجة اللغة من خلال الجمع بين مزايا RNN (الشبكة العصبية المتكررة).
تتمثل ميزة هذه البنية المبتكرة في أن RWKV يمكنه معالجة المعلومات في مساحة حالة محدودة، ومن خلال أساليب التعلم المعزز، يمكن للنموذج أن يحدد تلقائيًا متى يحتاج إلى مراجعة النص السابق، وبالتالي تحسين قدرته على الذاكرة. بالمقارنة مع النماذج التقليدية، يؤدي RWKV أداءً متفوقًا في اختبارات قياس الأداء المتعددة، مما يثبت تحسنه في كفاءة تعلم اللغة.
حاليًا، أكملت RWKV تدريب النموذج من 0.1B إلى 14B، وأصدرت نموذج معاينة 32B في المجتمعات الخارجية. في المستقبل، تخطط Yuanshi Intelligence لإطلاق RWKV-7 بمعلمات 70B وما فوق في عام 2025، واستكشاف أطر ورقائق استدلالية جديدة لزيادة تحسين أداء النموذج.
فيما يتعلق بالأعمال التجارية، لا توفر RWKV مشاريع مفتوحة المصدر فحسب، بل تنفذ أيضًا التخطيط التجاري بنشاط، بما في ذلك إنشاء موسيقى الذكاء الاصطناعي والتعاون مع المؤسسات، وقد توصلت إلى تعاون مع العديد من المؤسسات مثل State Grid. مع تطور التكنولوجيا وتقدم التسويق، تسعى RWKV جاهدة لتصبح "Android وLinux" في مجال النماذج الكبيرة.
لقد أظهرت الهندسة المعمارية المبتكرة والتخطيط التجاري لـ RWKV إمكانات قوية في مجال النماذج الكبيرة شديدة التنافسية، ويستحق تطويرها المستقبلي التطلع إليه. كما يعكس هدفها في أن تصبح "Android وLinux" في مجال النماذج الكبيرة طموحاتها السامية. أعتقد أنه مع استمرار نضج التكنولوجيا وتحسن نموذج الأعمال، ستحقق RWKV إنجازات أكبر في مجال الذكاء الاصطناعي.