أصدرت Epoch AI مؤخرًا جهاز محاكاة لقوة الحوسبة لنموذج لغوي واسع النطاق يوفر مرجعًا قيمًا للباحثين من خلال محاكاة تكلفة وكفاءة تدريب GPT-4 في ظل ظروف الأجهزة المختلفة. تظهر نتائج المحاكاة أنه حتى باستخدام بطاقة الرسومات القديمة GTX580 من عام 2012 يمكن تدريب GPT-4، لكن التكلفة ستكون عشرة أضعاف تكلفة الأجهزة الحديثة، مما يسلط الضوء على أهمية تحسين أداء الأجهزة لتدريب نماذج الذكاء الاصطناعي. يدعم جهاز المحاكاة أيضًا محاكاة التدريب في مراكز البيانات المتعددة، مما يسمح للمستخدمين بتخصيص المعلمات وتحليل اختلافات الأداء بين الأجهزة المختلفة واستراتيجيات التدريب، مما يوفر أساسًا مهمًا لاتخاذ القرار لتدريب نماذج الذكاء الاصطناعي واسعة النطاق المستقبلية.
في الآونة الأخيرة، أصدرت شركة أبحاث الذكاء الاصطناعي Epoch AI جهاز محاكاة تفاعلي مصمم خصيصًا لمحاكاة قوة الحوسبة اللازمة لتدريب نماذج اللغات الكبيرة. باستخدام هذه المحاكاة، وجد الباحثون أنه على الرغم من أنه كان من الممكن تدريب GPT-4 باستخدام بطاقات الرسومات القديمة من عام 2012، مثل GTX580، فإن التكلفة ستكون عشرة أضعاف تكلفة الأجهزة الحديثة اليوم.
يُظهر البحث من Epoch AI أن عدد عمليات الفاصلة العائمة (FLOPs) المطلوبة لتدريب GPT-4 يتراوح بين 1e25 و1e26. في هذه الدراسة، قام جهاز المحاكاة بتحليل كفاءة بطاقات الرسومات المختلفة، خاصة مع توسيع نطاق النموذج. وأظهرت النتائج أنه مع نمو النموذج، تنخفض الكفاءة بشكل عام. خذ على سبيل المثال بطاقة الرسومات H100 التي تم إطلاقها في السنوات الأخيرة، حيث يمكنها الحفاظ على كفاءة عالية لفترة طويلة، بينما تنخفض كفاءة بطاقة الرسومات V100 بشكل أكثر وضوحًا عند مواجهة مقاييس تدريب أكبر.
وفي تجارب Epoch AI، كانت ذاكرة بطاقة الرسومات GTX580 تبلغ 3 جيجابايت فقط. كانت بطاقة الرسومات هذه هي الاختيار السائد عند تدريب نموذج AlexNet في عام 2012. وعلى الرغم من تقدم التكنولوجيا، يعتقد الباحثون أن التدريب على هذا النطاق الواسع ممكن باستخدام الأجهزة القديمة، ولكن الموارد والتكاليف المطلوبة ستكون باهظة.
بالإضافة إلى ذلك، يدعم جهاز المحاكاة عمليات محاكاة التدريب المعقدة عبر مراكز بيانات متعددة. يمكن للمستخدمين تخصيص المعلمات مثل حجم مركز البيانات وزمن الوصول وعرض النطاق الترددي للاتصال لمحاكاة عمليات التدريب عبر مواقع متعددة. تتيح هذه الأداة أيضًا تحليل اختلافات الأداء بين بطاقات الرسومات الحديثة (مثل H100 وA100)، ودراسة تأثيرات أحجام الدُفعات المختلفة والتدريب على وحدات معالجة الرسومات المتعددة، وإنشاء ملفات سجل مفصلة توثق مخرجات النموذج.
وقالت شركة Epoch AI إنها طورت جهاز المحاكاة لتعميق فهمها لتحسينات كفاءة الأجهزة وتقييم تأثير ضوابط تصدير الرقائق. ومع الزيادة المتوقعة في مهمات التدريب واسعة النطاق خلال هذا القرن، من المهم بشكل خاص فهم متطلبات الأجهزة المطلوبة في المستقبل.
بشكل عام، يوفر هذا البحث ومحاكاة Epoch AI قيمة مرجعية مهمة لتدريب نماذج اللغة الكبيرة، مما يساعد الباحثين على فهم كفاءة الأجهزة بشكل أفضل، وتحسين استراتيجيات التدريب، وتوفير تدريب أكثر موثوقية لنماذج الذكاء الاصطناعي المستقبلية.