لا يقتصر الأمر على نموذج الجيل التالي الذي طال انتظاره من OpenAI Orion فحسب، بل أيضًا Anthropic، وهي شركة ناشئة أخرى في مجال الذكاء الاصطناعي (AI) وتنافس Google وOpenAI، أفادت أيضًا أن تطوير نماذج الذكاء الاصطناعي المتقدمة واجه اختناقات.
أفادت بلومبرج يوم الأربعاء 13 نوفمبر بالتوقيت الشرقي أن OpenAI أكملت الجولة الأولى من تدريب Orion في سبتمبر من هذا العام، على أمل أن تتفوق بشكل كبير على بعض الإصدارات السابقة وتقترب من هدف الذكاء الاصطناعي في التفوق على البشر، نقلاً عن شخصين مطلعين على الأمر، لكن أوريون فشل في الأداء كما كانت الشركة تأمل، اعتبارًا من أواخر الصيف، كان أداء النموذج ضعيفًا عند محاولة الإجابة على أسئلة البرمجة غير المدربة.
علق الأشخاص المطلعون على الأمر أنه، بشكل عام، حتى الآن، مقارنة بأداء GPT-4 بعد GPT-3.5، لم تحقق نماذج Orion وOpenAI الحالية هذا القدر من التقدم.
ونقل التقرير أيضًا عن ثلاثة أشخاص آخرين مطلعين على الأمر قولهم إن الإصدار الجديد القادم من Google من Gemini لم يلب التوقعات الداخلية، كما أرجأت Anthropic أيضًا الإصدار المخطط لنموذج Claude المعروف باسم 3.5 Opus.
ويعتقد التقرير أن الشركات الثلاث المذكورة أعلاه تواجه تحديات متعددة في تطوير نماذج الذكاء الاصطناعي، ومن الصعب عليها بشكل متزايد العثور على بيانات تدريب صناعية عالية الجودة غير مستغلة. على سبيل المثال، ينبع أداء التشفير غير المرضي لـ Orion جزئيًا من نقص بيانات التشفير الكافية للتدريب. وحتى التحسينات المتواضعة في أداء النموذج قد لا تكون كافية لتبرير التكاليف الباهظة لبناء نموذج جديد وتشغيله، أو لتلبية توقعات ترقية كبيرة.
إن مشكلة الاختناق في تطوير نموذج الذكاء الاصطناعي تتحدى قانون التوسع الذي يعتبر بمثابة مبدأ توجيهي من قبل العديد من الشركات الناشئة وحتى عمالقة التكنولوجيا، كما أنها تدعو إلى التشكيك في جدوى الاستثمار الضخم في الذكاء الاصطناعي لتحقيق الذكاء الاصطناعي العام (agi).
ذكرت وول ستريت نيوز ذات مرة أن القانون الذي اقترحته OpenAI في وقت مبكر من عام 2020 يعني أن الأداء النهائي لنموذج كبير يرتبط بشكل أساسي بكمية الحسابات، وكمية معلمات النموذج، وكمية بيانات التدريب، ويرتبط بـ البنية المحددة (الطبقة) للنموذج (الرقم/العمق/العرض) ليست ذات صلة بالأساس. في يوليو من هذا العام، دافع كيفن سكوت، كبير مسؤولي التكنولوجيا في Microsoft، عن هذا القانون أيضًا، قائلاً إن قانون التوسع لا يزال ينطبق على الصناعة الحالية - مع توسيع النماذج الكبيرة، لا تتضاءل الفوائد الهامشية. من قبيل الصدفة، نشرت وسائل الإعلام الأخبار الأسبوع الماضي بأن OpenAI وجدت أن أوريون "لم تحقق قفزة كبيرة" وأن التقدم كان أقل بكثير من الجيلين السابقين من النماذج الرائدة. يتحدى هذا الاكتشاف بشكل مباشر قانون القياس الذي تم اتباعه في مجال الذكاء الاصطناعي. نظرًا لانخفاض بيانات التدريب عالية الجودة وزيادة التكاليف الحسابية، كان على الباحثين في OpenAI البدء في استكشاف ما إذا كانت هناك طرق أخرى لتحسين أداء النموذج.تعمل شركة OpenAI، على سبيل المثال، على دمج المزيد من إمكانات كتابة التعليمات البرمجية في نماذجها وتحاول تطوير برامج يمكنها الاستيلاء على جهاز الكمبيوتر لإكمال أنشطة متصفح الويب أو مهام التطبيق من خلال إجراء النقرات وحركات المؤشر وإجراءات أخرى.
أنشأت OpenAI أيضًا فريقًا متخصصًا، بقيادة Nick Ryder، الذي كان مسؤولاً سابقًا عن التدريب المسبق، لاستكشاف كيفية تحسين بيانات التدريب المحدودة وضبط تطبيق أساليب التوسع للحفاظ على استقرار تحسين النموذج.
وفيما يتعلق بتقرير بلومبرج يوم الأربعاء، قال متحدث باسم جوجل ديب مايند إن الشركة "مسرورة بالتقدم الذي أحرزه جيميني وسنشارك المزيد من المعلومات عندما يكون جاهزًا، ورفض OpenAI التعليق". ورفضت Anthropic أيضًا التعليق، لكنها أشارت إلى منشور مدونة نُشر يوم الاثنين، تحدث فيه الرئيس التنفيذي لشركة Anthropic، داريو أمودي، خلال بث صوتي مدته خمس ساعات.
قال أمودل إن ما يسميه الناس قانون القياس ليس قانونًا، إنها تسمية خاطئة، إنه ليس قانونًا عالميًا، ولكنه قانون تجريبي. ويتوقع Amodel استمرار وجود قوانين القياس، لكنه غير متأكد. وقال إن هناك "الكثير من الأشياء" التي يمكن أن "تعرقل" التقدم نحو ذكاء اصطناعي أكثر قوة في السنوات المقبلة، بما في ذلك "قد تنفد البيانات لدينا"، لكنه متفائل بأن شركات الذكاء الاصطناعي ستجد طريقة للتغلب على أي عقبات.
وفيما يتعلق بتقرير بلومبرج، علق نوسون وايزمان، مؤسس شركة NossonAI، وهي شركة تقدم حلول الذكاء الاصطناعي المخصصة للمؤسسات، بأن التقرير لم يربكه لأنه أولا وقبل كل شيء، لم ير تعبير الخبراء الحقيقيين الذين قدموا مساهمات كبيرة في مجال الذكاء الاصطناعي ثانيًا، غالبًا ما نرى تقدمًا كبيرًا في النمذجة، وأخيرًا، يعتقد أن وسائل الإعلام الإخبارية تحب خلق الدراما، ويبدو أن هذا التقرير يحتوي على عنوان درامي جميل.
