أصدرت بايدو PaddleMIX 2.0، وهي مجموعة تطوير نماذج كبيرة متعددة الوسائط مصممة لتبسيط عملية تطوير تطبيقات الذكاء الاصطناعي متعددة الوسائط. فهو يدمج بيانات متعددة الوسائط مثل الصور والنصوص والصوت والفيديو، ويدعم سيناريوهات التطبيقات المتعددة مثل القيادة الذاتية والرعاية الطبية الذكية ومحركات البحث. يوفر PaddleMIX 2.0 مكتبة نماذج غنية وتجربة تطوير شاملة وقدرات تدريب واستدلال عالية الأداء، مما يخفض بشكل كبير عتبة تطوير النماذج متعددة الوسائط ويزود المطورين بأدوات شاملة ودعم لتسريع تطبيقات الذكاء الاصطناعي للابتكار .
PaddleMIX2.0 عبارة عن مجموعة أدوات تطوير نماذج كبيرة متعددة الوسائط أطلقتها شركة Baidu، وهي تدمج البيانات متعددة الوسائط مثل الرسومات والنصوص والصوت والفيديو، وتغطي بشكل شامل سيناريوهات التطبيقات المتعددة مثل القيادة الذاتية والرعاية الطبية الذكية ومحركات البحث. ، ويعزز تطبيقات الذكاء الاصطناعي للابتكار. يهدف إصدار PaddleMIX 2.0 إلى تقليل صعوبة التطوير التي يواجهها المطورون في المجال متعدد الوسائط وتوفير الدعم للخوارزميات عالية الأداء والتطوير المريح والتدريب الفعال والنشر الكامل.
تشمل النقاط الثلاثة الرئيسية في PaddleMIX2.0 ما يلي:
تغطي مكتبة النماذج الغنية متعددة الوسائط أنماط الصور والنصوص والفيديو والصوت، وقد أضافت نماذج متطورة مثل سلسلة LLaVA.
تعمل تجربة تطوير العملية الكاملة الشاملة، بما في ذلك مجموعة أدوات معالجة البيانات متعددة الوسائط DataCopilot والوحدات التلقائية، على تبسيط عملية تدريب النماذج الكبيرة متعددة الوسائط.
قدرات تدريب وترقيات عالية الأداء وواسعة النطاق، يدعم نموذج DiT التدريب المسبق على نطاق 3B، والأداء الرائد، واستراتيجية تدريب MixToken الجديدة، وتحسين إنتاجية التدريب بشكل كبير.
يوفر PaddleMIX2.0 أيضًا أداة AppFlow، التي تبني مجموعة متنوعة من التطبيقات متعددة الوسائط من خلال مجموعة خطوط الأنابيب، والمكون الإضافي ComfyUI، الذي يدعم إمكانيات الوسائط المتعددة ويبسط تشغيل مهام AIGC. بالإضافة إلى ذلك، يتمتع PaddleMIX2.0 بتحسينات كبيرة في الأداء في التدريب المسبق واسع النطاق، والتدريب الفعال على الضبط الدقيق والاستدلال عالي الأداء.
الصفحة الرئيسية للمشروع مفتوح المصدر: https://github.com/PaddlePaddle/PaddleMIX
بشكل عام، يوفر PaddleMIX 2.0، بوظائفه القوية وسهولة استخدامه، دعمًا قويًا لتطوير تطبيقات الذكاء الاصطناعي متعددة الوسائط، ويستحق اهتمام المطورين ومحاولاتهم. كما تعمل طبيعتها مفتوحة المصدر على تعزيز تطوير تكنولوجيا الذكاء الاصطناعي ومشاركتها.