تم إصدار الإصدار 3.0 من Flying Paddle Framework، وتركز الترقية الأساسية على تبسيط عملية تطوير التدريب الموزع على النماذج الكبيرة وتحسين كفاءة التطوير بشكل ملحوظ. علم محرر Downcodes أن هذا الإصدار يقدم تقنية موازية تلقائية موحدة ديناميكية وثابتة، ويدعم التوازي الهجين رباعي الأبعاد أو حتى خماسي الأبعاد، ويغطي توازي البيانات، وتوازي نموذج الموتر، وتوازي خطوط الأنابيب، وتوازي تقطيع معلمات المجموعة وغيرها من الأساليب، مما أدى إلى تحسين كبير كفاءة تدريب النموذج الكبير. نظرًا لتعقيد التوازي الهجين متعدد الأبعاد، يقترح Flying Paddle Framework 3.0 بذكاء حلًا تكنولوجيًا متوازيًا تلقائيًا، مما يقلل بشكل فعال من صعوبة تطوير التدريب الموزع.
أصدر الإصدار 3.0 من Flying Paddle Framework مؤخرًا ترقية أساسية، حيث قدم تقنية متوازية تلقائية ديناميكية وثابتة، تهدف إلى تبسيط عملية تطوير التدريب الموزع على النماذج الكبيرة وتحسين كفاءة التطوير.
يدعم الإصدار الجديد تقنية التوازي الهجين رباعي الأبعاد أو حتى خماسي الأبعاد، مما يحسن بشكل فعال كفاءة التدريب الموزع للنماذج الكبيرة من خلال طرق متوازية متعددة مثل توازي البيانات، وتوازي نموذج الموتر، وتوازي خطوط الأنابيب، وتوازي تقطيع المعلمات المجمعة. استجابة لتعقيد عملية التطوير المتوازي الهجين متعدد الأبعاد، اقترح Feipiao حلاً تكنولوجيًا متوازيًا تلقائيًا من خلال علامات بناء الجملة لتجزئة الموتر، يمكن للإطار استخلاص حالات التجزئة الموزعة تلقائيًا وإضافة مشغلي الاتصالات، مما يقلل بشكل كبير من الوقت اللازم لـ. صعوبة التنمية الموزعة.
يتضمن المبدأ المتوازي التلقائي لـ Flying Paddle Framework 3.0 روابط رئيسية مثل تمثيل الموتر الموزع، واشتقاق التجزئة، وتحويل التجزئة، وما إلى ذلك. وهو يدعم إمكانات إعادة التجزئة ويسمح بتحويل الموتر الموزع عبر ProcessMesh. في الوقت نفسه، يوفر الإطار وضع تنفيذ ديناميكي وثابت موحد، ويدعم التحويل من الرسومات الديناميكية إلى الرسومات الثابتة، ويأخذ في الاعتبار راحة التطوير وكفاءة التشغيل.
فيما يتعلق بتحسين الأداء، يدعم Flying Paddle Framework 3.0 مجموعة متنوعة من الاستراتيجيات، مثل دمج المشغلين، وتنسيق خطوط الأنابيب والجدولة، وتداخل الاتصالات والحوسبة، ودمج الاتصالات، وما إلى ذلك، والتي يمكن تمكينها من خلال خيارات التكوين لزيادة تحسين أداء التدريب الموزع .
الموقع الرسمي للتجديف: https://www.paddlepaddle.org.cn/
بشكل عام، ستعمل التقنية المتوازية التلقائية واستراتيجيات تحسين الأداء المتعددة لـ Flying Paddle Framework 3.0 على تبسيط عملية تطوير ونشر النماذج الكبيرة إلى حد كبير، مما يوفر للمطورين تجربة أكثر ملاءمة وكفاءة. وهذا له أهمية كبيرة لتعزيز تطوير وتطبيق تكنولوجيا النماذج الكبيرة.