تعاون فريق بحث من جامعة نانجينغ مع ByteDance وجامعة Southwest لإطلاق تقنية فيديو مبتكرة فائقة الدقة تسمى STAR. تجمع هذه التقنية بذكاء بين أساليب التحسين الزماني المكاني ونماذج تحويل النص إلى فيديو، والتي يمكنها تحسين وضوح مقاطع الفيديو منخفضة الدقة بشكل كبير، خاصة تلك التي تم تنزيلها من منصات الفيديو. تم فتح النسخة المدربة مسبقًا من نموذج STAR على GitHub لراحة الباحثين والمطورين، وهذا يمثل إنجازًا مهمًا في مجال معالجة الفيديو. يوفر المشروع نموذجين، I2VGen-XL وCogVideoX-5B، ويدعم تنسيقات إدخال متعددة وخيارات سريعة لتلبية الاحتياجات المختلفة.
من أجل التسهيل على الباحثين والمطورين، أصدر فريق البحث النسخة المدربة مسبقًا من نموذج STAR على GitHub، بما في ذلك نموذجين، I2VGen-XL وCogVideoX-5B، بالإضافة إلى كود الاستدلال ذي الصلة. يمثل إدخال هذه الأدوات تقدمًا مهمًا في مجال معالجة الفيديو.
عملية استخدام هذا النموذج بسيطة نسبيا. أولاً، يحتاج المستخدمون إلى تنزيل نموذج STAR المدرب مسبقًا من HuggingFace ووضعه في الدليل المحدد. بعد ذلك، قم بإعداد ملف الفيديو المراد اختباره وحدد خيارات المطالبة النصية المناسبة، بما في ذلك عدم وجود مطالبات، أو المطالبات التي تم إنشاؤها تلقائيًا، أو المطالبات التي تم إدخالها يدويًا. يحتاج المستخدمون فقط إلى ضبط إعدادات المسار في البرنامج النصي لمعالجة دقة الفيديو الفائقة بسهولة.
صمم هذا المشروع خصيصًا نموذجين يعتمدان على I2VGen-XL، واللذان يستخدمان لدرجات مختلفة من معالجة تدهور الفيديو لضمان قدرتهما على تلبية مجموعة متنوعة من الاحتياجات. بالإضافة إلى ذلك، يدعم طراز CogVideoX-5B بشكل خاص تنسيق الإدخال 720x480، مما يوفر خيارات مرنة لسيناريوهات محددة.
لا يقدم هذا البحث أفكارًا جديدة لتطوير تقنية الفيديو فائقة الدقة فحسب، بل يفتح أيضًا اتجاهات بحثية جديدة للباحثين في المجالات ذات الصلة. يعرب فريق البحث عن امتنانه للتقنيات المتطورة مثل I2VGen-XL، وVEnhancer، وCogVideoX، وOpenVid-1M، والتي يعتقدون أنها وضعت الأساس لمشروعهم.
مدخل المشروع: https://github.com/NJU-PCALab/STAR
أبرز النقاط:
تجمع تقنية STAR الجديدة بين نماذج تحويل النص إلى فيديو لتحقيق دقة فائقة للفيديو وتحسين جودة الفيديو.
أصدر فريق البحث نماذج مدربة مسبقًا ورموز استدلال، وعملية الاستخدام بسيطة وواضحة.
توفير معلومات الاتصال لتشجيع المستخدمين على التواصل والمناقشة مع فريق البحث.
مشروع STAR مفتوح المصدر من خلال GitHub، مما يسهل على المطورين والباحثين استخدامه، كما أن عملية التشغيل البسيطة وسهلة الاستخدام والوظائف القوية توفر إمكانيات جديدة في مجال دقة الفيديو الفائقة وتوفر اتجاهات جديدة للبحث المستقبلي. . ونحن نتطلع إلى أن تلعب تقنية STAR دورًا أكبر في التطبيقات العملية.