حققت شركة Apple مؤخرًا تقدمًا كبيرًا في سرعة إنشاء نماذج اللغات الكبيرة (LLM) وتعاونت مع NVIDIA لاستخدام تقنية Recurrent Drafter (ReDrafter) مفتوحة المصدر لزيادة سرعة الإنشاء إلى ثلاثة أضعاف تقريبًا. يستخدم ReDrafter طريقة فك تشفير تخمينية لتحسين كفاءة تدريب النماذج بشكل كبير، وهو مدمج مع إطار تسريع الاستدلال TensorRT-LLM من NVIDIA لتقليل تكاليف الاستخدام وزمن الوصول بشكل أكبر. ولا يؤدي هذا التعاون إلى تحسين كفاءة التطوير فحسب، بل يوفر أيضًا للمستخدمين تجربة خدمة أسرع، مما يشير إلى تصميم Apple وقوتها على مواصلة الابتكار في مجال الذكاء الاصطناعي. ستتناول هذه المقالة بالتفصيل تفاصيل التعاون بين Apple وNVIDIA ومزايا تقنية ReDrafter.
مؤخرًا، أظهرت أحدث الأبحاث التي أجرتها Apple في مجال التعلم الآلي أنه من خلال التعاون مع NVIDIA، نجحت في زيادة سرعة إنشاء نماذج اللغات الكبيرة (LLM) بما يقرب من ثلاث مرات. يكمن مفتاح هذا التقدم في تقنية Apple مفتوحة المصدر "Recurrent Drafter" (ReDrafter)، والتي تستخدم طريقة فك تشفير تخمينية يمكنها تحسين كفاءة تدريب النماذج بشكل كبير.
في الماضي، كانت عملية إنشاء نماذج لغوية كبيرة عادةً ما تستغرق وقتًا طويلاً وتستهلك الكثير من الموارد، وغالبًا ما كانت الشركات تحتاج إلى شراء عدد كبير من الأجهزة، وبالتالي زيادة تكاليف التشغيل. في وقت سابق من عام 2024، أصدرت Apple تقنية ReDrafter، وهي تقنية تجمع بين الشبكات العصبية العودية وطرق انتباه الشجرة الديناميكية لإنشاء العلامات والتحقق منها بسرعة، مما يزيد من سرعة إنشاء العلامات بمقدار 3.5 مرات مقارنة بطرق الانحدار التلقائي التقليدية.
أعلنت شركة Apple هذا الأسبوع أيضًا أن تعاونها مع NVIDIA سيدمج ReDrafter في إطار تسريع الاستدلال TensorRT-LLM الخاص بـ NVIDIA. ستسمح هذه الخطوة لمطوري التعلم الآلي الذين يستخدمون وحدات معالجة الرسومات NVIDIA بالاستفادة من إمكانات تسريع ReDrafter في بيئات الإنتاج. ومن الجدير بالذكر أنه على الرغم من أن خوادم وحدات معالجة الرسومات المتعددة عالية الأداء عادةً ما تكون باهظة الثمن، إلا أن هذا التعاون يمكن أن يقلل زمن الوصول مع تقليل كمية الأجهزة المطلوبة، مما يؤدي إلى حل أكثر اقتصادا.
في الاختبارات المعيارية مع NVIDIA، تم تحسين كفاءة الإنشاء باستخدام ReDrafter بشكل ملحوظ، مع زيادة قدرها 2.7x في إنشاء الرمز المميز في الثانية في وضع التشفير الجشع. وهذا يعني أن المطورين يمكنهم الحصول على المزيد من النتائج في وقت أقل وتزويد المستخدمين بتجربة خدمة أسرع.
بعد تأكيد تعاونها مع NVIDIA، ذكرت شركة Apple أيضًا أنها تفكر في استخدام شريحة Trainium2 من Amazon لتحسين كفاءة تدريب النماذج. ومن المتوقع أن يتم تحسين كفاءة التدريب المسبق باستخدام Trainium2 بنسبة 50% مقارنة بالأجهزة الموجودة.
المدونة الرسمية: https://developer.nvidia.com/blog/nvidia-tensorrt-llm-now-supports-recurrent-drafting-for-optimizing-llm-inference/
أبرز النقاط:
تتعاون Apple مع NVIDIA لزيادة سرعة إنشاء نماذج اللغات الكبيرة ثلاث مرات تقريبًا.
تتحد تقنية ReDrafter مفتوحة المصدر مع الشبكات العصبية المتكررة لتحسين كفاءة تدريب النماذج بشكل كبير.
يساعد هذا التعاون على تقليل التكاليف وتوفير حلول أكثر كفاءة لمطوري التعلم الآلي.
بشكل عام، أدى التعاون بين Apple وNVIDIA وتطبيق تقنية ReDrafter إلى تحسينات كبيرة في الكفاءة وتخفيضات في تكلفة تطوير نماذج اللغات الكبيرة وتطبيقها. وهذا لا يعزز التقدم التكنولوجي في مجال الذكاء الاصطناعي فحسب، بل يقدم أيضًا حلولاً أكثر ملاءمة واقتصادية للمطورين والمستخدمين، مما يشير إلى التطور القوي لتطبيقات الذكاء الاصطناعي في المستقبل.