في الآونة الأخيرة ، تم إصدار Goku ، وهو نموذج لتوليد الفيديو المحمول التي طورتها جامعة هونغ كونغ و Bytedance ، رسميًا. يستخدم هذا النموذج خوارزميات التوليد المتقدمة لإنشاء محتوى فيديو عالي الجودة استنادًا إلى مطالبات نصية ، وإثراء تعبير الفن الرقمي بشكل كبير.
لإظهار قوة طراز Goku ، أنشأ فريق البحث سلسلة من أمثلة الفيديو الرائعة التي لا تظهر فقط القدرات الفنية للنموذج ، ولكنها تُظهر أيضًا إمكاناتها غير المحدودة في الأداء الإبداعي.
يتميز نموذج Goku بسرعة توليده الفعالة وجودة الصورة. باستخدام كمية كبيرة من التدريب على البيانات ، يمكن لـ Goku إنشاء مشاهد مختلفة بما في ذلك الرسوم المتحركة ، والمناظر الطبيعية ، وسلوك الحيوان ، إلخ. استخدم الباحثون موجه MovieGenbench الأصلي للاختبار ، وضمان الاتساق والإنصاف لتأثير العرض التوضيحي.
على سبيل المثال ، تُظهر إحدى مقاطع الفيديو امرأة عصرية تمشي بثقة في شوارع طوكيو ، مع أضواء النيون الملونة التي تعكس الليلة الدافئة ، والمشاة يتجولون مع المشاهد واقعية وواقعية.
يظهر مقطع فيديو آخر العديد من الماموث العملاقين الذين يمشون على مهل على مهل على الثلج ، مع الجبال الثلجية المحيطة والغابات التي تجعل الناس يشعرون كما لو كانوا في عالم من الثلج والثلوج. هذه المشاهد الحية لا تجذب انتباه الجمهور فحسب ، بل توفر أيضًا مصدر إلهام غني للمبدعين الفنيين.
الأمر الأكثر إثارة للدهشة هو أن Goku يدعم أيضًا الجيل المباشر من مقاطع الفيديو البشرية الرقمية الافتراضية. يحول Goku+ النص إلى مقاطع فيديو بشرية سريالية ، وهو أفضل بكثير من الأساليب الحالية. على وجه الخصوص ، يمكن أن تولد مقاطع فيديو على مدار 20 ثانية ، والتي تتميز بحركات يدوية مستقرة وحركات الوجه والجسم التعبيرية للغاية للمواضيع البشرية.
بالإضافة إلى ذلك ، يدعم وظائف مثل إنشاء مقاطع فيديو تفاعلية من صور المنتج ، والحفاظ على أنماط المنتج ، وإنشاء مقاطع فيديو عرض المنتج ، وإنشاء مقاطع فيديو إعلانية من النص.
كما هو موضح أدناه: يحول Goku+ صور المنتج إلى مقاطع فيديو جذابة لضمان التحسين الشامل. هذه العملية تعزز جاذبية وفعالية مواد التسويق الخاصة بك.
كما هو موضح أدناه: قم بإنشاء مقاطع فيديو واقعية وجذابة تعرض منتجات محددة. تلتقط مقاطع الفيديو هذه بشكل فعال جوهر المنتج وزيادة مشاركة الجمهور واهتمامه.
بالإضافة إلى ذلك ، يدعم النموذج إنشاء نصوص مقاطع فيديو مخصصة عالية الدقة لتحسين سيناريوهات الإعلان ، والتي هي أفضل بكثير من نماذج الفيديو الأساسية للمنافسين.
مدخل المشروع: https://saiyan-world.github.io/goku/