أطلقت شركة Beijing TuSimple Future Technology Co., Ltd. رسميًا أول نموذج كبير لها "TuSimple Video" - "Ruyi" في 17 ديسمبر 2024، وفتحت المصدر لإصدار Ruyi-Mini-7B. تم تصميم هذا النموذج خصيصًا لبطاقات الرسومات المخصصة للمستهلكين، مما يوفر عملية نشر واستخدام مريحة، وهو يعمل بشكل جيد من حيث الاتساق بين الإطارات وسلاسة الحركة، ويوفر أداة إبداعية قوية لمنشئي الرسوم المتحركة والألعاب. وهو يدعم إنشاء فيديو متعدد الدقة ومتعدد المدة ولديه مجموعة متنوعة من وظائف التحكم، والتي يمكن أن تقلل بشكل فعال دورة وتكلفة إنشاء المحتوى. يمثل هذا خطوة مهمة لشركة TuSimple في مجال تطبيق تكنولوجيا الذكاء الاصطناعي، كما يقدم تجربة إبداعية جديدة لعشاق ACG.
أطلقت شركة Beijing TuSimple Future Technology Co., Ltd. رسميًا أول نموذج كبير لها "TuSimple Video" - "Ruyi" في 17 ديسمبر 2024، وجعلت إصدار Ruyi-Mini-7B مفتوح المصدر للمستخدمين للتنزيل والاستخدام من منصة Huggingface . تأسست TuSimple في عام 2015 ويقع مقرها الرئيسي في سان دييغو، كاليفورنيا، الولايات المتحدة الأمريكية، وتركز على تطبيق تكنولوجيا الذكاء الاصطناعي في صناعات متعددة، بما في ذلك ألعاب الرسوم المتحركة وصناعات النقل.
تم تصميم نموذج Ruyi الكبير ليعمل على بطاقات الرسومات المخصصة للمستهلكين، ويوفر تعليمات نشر مفصلة وسير عمل ComfyUI للسماح للمستخدمين بالبدء بسرعة. بفضل أدائه الممتاز في الاتساق من إطار إلى إطار، وسلاسة الحركة، وعرض الألوان وتكوينها، يوفر هذا النموذج إمكانيات جديدة لسرد القصص المرئية ويقوم بالتعلم العميق لمشاهد الرسوم المتحركة والألعاب، مما يجعله شريكًا إبداعيًا مثاليًا لعشاق ACG.
يدعم نموذج Ruyi إنشاء الدقة المتعددة والمدد المتعددة، ويمكنه التعامل مع الدقة من 384×384 إلى 1024×1024، وأي نسبة عرض إلى ارتفاع، وإنشاء فيديو يصل إلى 120 إطارًا/5 ثوانٍ. كما أنه يدعم إنشاء التحكم في الإطار الأول والإطار الأول والأخير والتحكم في سعة الحركة وخمسة عناصر تحكم في العدسة. يعتمد Ruyi على بنية DiT ويتكون من وحدة Casual VAE ومحول الانتشار. يبلغ إجمالي حجم المعلمة حوالي 7.1B، ويستخدم حوالي 200 مليون مقطع فيديو للتدريب.
على الرغم من أن Ruyi قد حققت تقدمًا كبيرًا في مجال التكنولوجيا، إلا أنه لا تزال هناك بعض العيوب، مثل تشوه اليد، وانهيار تفاصيل الوجه عند وجود عدة أشخاص، والانتقالات التي لا يمكن السيطرة عليها، وتعمل TuSimple جاهدة على تحسينها وإصلاحها في التحديثات المستقبلية.
وبالنظر إلى المستقبل، تخطط TuSimple لمواصلة التعمق في احتياجات المشهد، وتحقيق اختراقات في إنشاء CUT مباشرة، وتوفير نسختين في الإصدار التالي لتلبية احتياجات المبدعين المختلفين. تلتزم الشركة باستخدام نماذج كبيرة لتقليل دورة التطوير وتكلفة الرسوم المتحركة ومحتوى الألعاب. يمكن لنماذج Ruyi الكبيرة بالفعل إنشاء محتوى مدته 5 ثوانٍ بعد إدخال الإطارات الرئيسية، أو إدخال إطارين رئيسيين وسيقوم النموذج بإنشاء محتوى انتقالي متوسط. الحد من دورة التنمية.
رابط وجه المعانقة:
https://huggingface.co/IamCreateAI/Ruyi-Mini-7B
بشكل عام، جلب إصدار Ruyi الكبير مفتوح المصدر إمكانيات جديدة للرسوم المتحركة وإنشاء الألعاب، على الرغم من وجود بعض أوجه القصور، إلا أن إمكانات تطويره المستقبلية هائلة، ومن الجدير التطلع إلى مزيد من التحسين والتحسين للنموذج من قبل TuSimple الإصدارات اللاحقة.