أطلقت شركة Nous Research المحسّن الثوري لتدريب الذكاء الاصطناعي DisTrO، مما كسر الوضع الذي يقتصر فيه التدريب على نماذج الذكاء الاصطناعي الكبيرة على الشركات الكبرى العملاقة. يمكن لـ DisTrO أن يقلل بشكل كبير من كمية نقل البيانات بين وحدات معالجة الرسومات المتعددة ويمكنه تدريب نماذج الذكاء الاصطناعي بكفاءة حتى في بيئات الشبكات العادية، مما يؤدي إلى خفض عتبة تدريب نماذج الذكاء الاصطناعي بشكل كبير ويسمح لمزيد من الأفراد والمؤسسات بالمشاركة في تطوير تكنولوجيا الذكاء الاصطناعي والتطوير في التقدم. ومن المتوقع أن تغير هذه التكنولوجيا المبتكرة نموذج البحث والتطوير في مجال الذكاء الاصطناعي بشكل كامل وتعزز تعميم تكنولوجيا الذكاء الاصطناعي وتطويرها.
في الآونة الأخيرة، قدم فريق البحث في Nous Research أخبارًا مثيرة لدائرة التكنولوجيا، حيث أطلقوا مُحسِّنًا جديدًا يسمى DisTrO (التدريب عبر الإنترنت الموزع). إن ميلاد هذه التكنولوجيا يعني أن نماذج الذكاء الاصطناعي القوية ليست مجرد براءة اختراع للشركات الكبيرة، ولكن لدى الأشخاص العاديين أيضًا فرصة استخدام أجهزة الكمبيوتر الخاصة بهم للتدريب الفعال في المنزل.
يكمن سحر DisTrO في أنه يمكن أن يقلل بشكل كبير من كمية المعلومات التي يجب نقلها بين وحدات معالجة الرسومات المتعددة (GPUs) عند تدريب نموذج الذكاء الاصطناعي. ومن خلال هذا الابتكار، يمكن تدريب نماذج الذكاء الاصطناعي القوية في ظل ظروف الشبكة العادية، وحتى السماح للأفراد أو المؤسسات في جميع أنحاء العالم بتوحيد القوى لتطوير تكنولوجيا الذكاء الاصطناعي بشكل مشترك.
وفقًا لورقة فنية صادرة عن Nous Research، فإن تحسين كفاءة DisTrO أمر مذهل. كفاءة التدريب باستخدامها أعلى بـ 857 مرة من خوارزمية All-Reduce الشائعة، وفي الوقت نفسه، كمية المعلومات المنقولة في كل تدريب تم أيضًا تقليل الخطوة من 74.4 جيجابايت إلى 74.4 جيجابايت. مثل هذه التحسينات لا تجعل التدريب أسرع وأرخص فحسب، بل تعني أيضًا أن المزيد من الأشخاص لديهم الفرصة للمشاركة في هذا المجال.
وذكرت شركة Nous Research على منصتها الاجتماعية أنه من خلال DisTrO، لم يعد الباحثون والمؤسسات بحاجة إلى الاعتماد على شركة معينة لإدارة عملية التدريب والتحكم فيها، مما يوفر لهم المزيد من الحرية في الابتكار والتجربة. وتساعد هذه البيئة التنافسية المفتوحة على تعزيز التقدم التكنولوجي وتعود بالنفع في نهاية المطاف على المجتمع بأكمله.
في تدريب الذكاء الاصطناعي، غالبًا ما تكون متطلبات الأجهزة باهظة. على وجه الخصوص، أصبحت وحدات معالجة الرسومات Nvidia عالية الأداء نادرة ومكلفة بشكل متزايد في هذا العصر، ولا تستطيع تحمل عبء مثل هذا التدريب سوى بعض الشركات ذات التمويل الجيد. ومع ذلك، فإن فلسفة Nous Research هي عكس ذلك تمامًا، فهي ملتزمة بفتح التدريب على نماذج الذكاء الاصطناعي للجمهور بتكلفة أقل وتسعى جاهدة للسماح لعدد أكبر من الأشخاص بالمشاركة.
يعمل DisTrO عن طريق تقليل حمل الاتصالات بمقدار أربعة إلى خمسة أوامر من حيث الحجم عن طريق تقليل الحاجة إلى مزامنة التدرج الكامل بين وحدات معالجة الرسومات. يسمح هذا الابتكار بتدريب نماذج الذكاء الاصطناعي على اتصالات الإنترنت الأبطأ، حيث تعد سرعات التنزيل البالغة 100 ميجابت في الثانية والتحميل التي تصل إلى 10 ميجابت في الثانية والتي يمكن الوصول إليها بسهولة للعديد من الأسر اليوم كافية.
في الاختبارات الأولية على نموذج اللغة الكبيرة Llama2 من Meta، أظهر DisTrO نتائج تدريب مماثلة للأساليب التقليدية مع تقليل مقدار الاتصال المطلوب بشكل كبير. وقال الباحثون أيضًا إنه على الرغم من أنهم تم اختبارهم فقط على نماذج أصغر حتى الآن، إلا أنهم يتوقعون مبدئيًا أنه مع زيادة حجم النموذج، قد يكون الانخفاض في متطلبات الاتصال أكثر أهمية، حتى يصل إلى 1000 إلى 3000 مرة.
تجدر الإشارة إلى أنه على الرغم من أن DisTrO يجعل التدريب أكثر مرونة، إلا أنه لا يزال يعتمد على دعم وحدة معالجة الرسومات، ولكن الآن لا تحتاج وحدات معالجة الرسومات هذه إلى التجميع في نفس المكان، ولكن يمكن توزيعها حول العالم والتعاون من خلال الإنترنت العادي. لقد رأينا أن DisTrO كان قادرًا على مطابقة طريقة AdamW+All-Reduce التقليدية من حيث سرعة التقارب عند اختباره بدقة باستخدام 32 وحدة معالجة رسوميات H100، ولكنه قلل بشكل كبير من متطلبات الاتصال.
لا يعد DisTrO مناسبًا لنماذج اللغات الكبيرة فحسب، بل يمكن استخدامه أيضًا لتدريب أنواع أخرى من الذكاء الاصطناعي مثل نماذج توليد الصور. إن آفاق التطبيق المستقبلية مثيرة. بالإضافة إلى ذلك، من خلال تحسين كفاءة التدريب، قد تقلل DisTrO أيضًا من التأثير البيئي لتدريب الذكاء الاصطناعي لأنه يعمل على تحسين استخدام البنية التحتية الحالية ويقلل الحاجة إلى مراكز البيانات الكبيرة.
من خلال DisTrO، لا تعمل Nous Research على تعزيز التقدم التكنولوجي في تدريب الذكاء الاصطناعي فحسب، بل تشجع أيضًا على نظام بيئي بحثي أكثر انفتاحًا ومرونة، مما يفتح إمكانيات غير محدودة لتطوير الذكاء الاصطناعي في المستقبل.
المرجع: https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/
يبشر ظهور DisTrO بعملية دمقرطة التدريب على الذكاء الاصطناعي، ويخفض عتبة المشاركة، ويعزز التطور السريع والتطبيق الواسع النطاق لتكنولوجيا الذكاء الاصطناعي، ويجلب حيوية جديدة وإمكانيات غير محدودة إلى مجال الذكاء الاصطناعي. في المستقبل، نتوقع أن يجلب DisTrO المزيد من المفاجآت لتطوير الذكاء الاصطناعي.