حقق مختبر أوك ريدج الوطني في الولايات المتحدة تقدمًا كبيرًا، باستخدام Frontier، أقوى كمبيوتر عملاق في العالم، لتدريب نموذج لغة مكافئ لـ ChatGPT بنجاح باستخدام 8٪ فقط من قوته الحاسوبية. يحتوي النموذج على تريليونات من المعلمات، ومن خلال التدريب الموزع المبتكر والتكنولوجيا الموازية، حقق فريق البحث كفاءة توسع ضعيفة بنسبة 100%، مما يوفر خبرة قيمة ومرجعًا تقنيًا لتدريب نماذج لغوية واسعة النطاق في المستقبل. لا يوضح هذا البحث قوة تكنولوجيا الحوسبة الفائقة فحسب، بل يسلط الضوء أيضًا على أهمية الذاكرة والتحديات الأخرى في التعامل مع التدريب على نماذج اللغة على نطاق واسع.
استخدم العلماء أقوى حاسوب عملاق في العالم لتدريب نموذج على مستوى ChatGPT بنجاح، باستخدام 8% فقط من قوة الحوسبة. جاء هذا الإنجاز من مختبر أوك ريدج الوطني، حيث استخدم فريق البحث تقنية مبتكرة لتدريب نموذج لغة مكون من تريليون معلمة على الكمبيوتر العملاق Frontier. ومن خلال التدريب الموزع والتكنولوجيا الموازية، يتم تحقيق كفاءة توسع ضعيفة بنسبة 100%. ومع ذلك، لا يزال تدريب نماذج اللغة الكبيرة يمثل تحديات ويتطلب معالجة مشكلات الذاكرة. يوفر البحث خبرة لتدريب نماذج لغوية ضخمة في المستقبل ويسلط الضوء على الدور الرئيسي للتدريب الموزع والحوسبة المتوازية.توفر نتيجة البحث هذه إمكانيات جديدة لتطوير مجال الذكاء الاصطناعي، وتشير أيضًا إلى أن تكنولوجيا التدريب على نماذج اللغة واسعة النطاق ستتطور في اتجاه أكثر كفاءة وتوفيرًا للطاقة في المستقبل. يعد الاستخدام الفعال لموارد الحوسبة اتجاهًا مهمًا للتطوير المستقبلي لنماذج اللغات الكبيرة.