قامت شركة xAI بفتح المصدر لنموذجها الخبير الهجين Grok-1 الذي يحتوي على 314 مليار معلمة، والذي اجتذب اهتمامًا واسع النطاق في مجال الذكاء الاصطناعي. إن أوزان النموذج وبنية الشبكة مفتوحة تمامًا، ويتم تدريبها من البداية بناءً على كمية كبيرة من البيانات النصية دون الضبط الدقيق للتطبيقات، ويبلغ وزن التنشيط 25٪. تُستخدم مكتبة JAX ولغة Rust للتدريب المخصص وتتوافق مع ترخيص Apache2.0، وهو مناسب للمطورين للاستخدام والتطوير الثانوي. يوفر المصدر المفتوح للنموذج للباحثين موارد تعليمية وبحثية قيمة، ويشجع أيضًا على مزيد من التطوير في مجال الذكاء الاصطناعي. وعلى الرغم من أن بعض الباحثين يعتقدون أن انفتاحه يحتاج إلى تحسين، فإن إصدار Grok-1 يمثل بلا شك تقدمًا كبيرًا في مجال الذكاء الاصطناعي.
أعلنت شركة Musk's xAI أنها ستفتح المصدر للنموذج الخبير الهجين الذي يحتوي على 314 مليار معلمة "Grok-1" بأوزان مفتوحة بالكامل وبنية شبكية. يتم تدريب النموذج من الصفر دون إجراء ضبط دقيق خاص بالتطبيق، ويتم تدريبه بناءً على كمية كبيرة من البيانات النصية. ويبلغ وزن تفعيل نموذج وزارة التربية والتعليم 25%. ويستخدم مكتبة JAX ولغة Rust لتخصيص حزمة التدريب ويتوافق مع ترخيص Apache2.0، وتستمر شعبيته في الزيادة. يوفر مستودع النماذج نموذج كود JAX، الذي يتطلب ذاكرة GPU كبيرة، ويوفر رابطًا مغناطيسيًا لتنزيل ملف الوزن. قام الباحثون بتقييم Grok-1 على أنه أقل انفتاحًا وأكثر تنبؤًا من LLaMA-2، وقدموا تفاصيل عن بنية النموذج، ودعوا إلى مزيد من التفاصيل العامة.
المصدر المفتوح لـ Grok-1، على الرغم من وجود بعض الجدل من حيث الانفتاح، إلا أن أداءه القوي وترخيصه المفتوح يجعله نموذجًا يستحق الاهتمام ومن المتوقع أن يعزز تطوير مجال نماذج اللغات الكبيرة. وفي المستقبل، نتطلع إلى ظهور المزيد من المشاريع المماثلة مفتوحة المصدر للعمل بشكل مشترك على تعزيز تقدم تكنولوجيا الذكاء الاصطناعي. ويتطلب الحصول على النموذج واستخدامه عتبة تقنية معينة، لكن هذا لا يعيق مساهمته في أبحاث الذكاء الاصطناعي.