كان توليد مقاطع فيديو طويلة عالية الجودة بكفاءة يمثل تحديًا كبيرًا في مجال رؤية الكمبيوتر. اقترح باحثو META AI طريقة تسريع خالية من التدريب تسمى ADACACHE استجابة للاستدلال البطيء لنماذج محول الانتشار الحالية (DITS). يستخدم Adacache بذكاء اختلافات محتوى الفيديو ، ويخصص استراتيجيات التخزين المؤقت لكل مقطع فيديو ، ويقدم نظام تنظيم الحركة لتخصيص موارد الحوسبة ديناميكيًا بناءً على محتوى حركة الفيديو ، وبالتالي تحسين سرعة الاستدلال مع ضمان جودة التوليد.
يتطلب توليد مقطع فيديو عالي الجودة ومتواصل للوقت الكثير من موارد الحوسبة ، وخاصة لوقت أطول. على الرغم من أن أحدث نماذج محولات الانتشار (DITs) أحرزت تقدمًا كبيرًا في توليد الفيديو ، إلا أن هذا التحدي يتفاقم بسبب التفكير الأبطأ بسبب اعتمادها على النماذج الأكبر وآليات الاهتمام الأكثر تعقيدًا. لحل هذه المشكلة ، اقترح الباحثون في META AI طريقة خالية من التدريب تسمى Adacache لتسريع DITS VIDEO.
تعتمد الفكرة الأساسية لـ Adacache على حقيقة أن "ليست جميع مقاطع الفيديو هي نفسها" ، مما يعني أن بعض مقاطع الفيديو تتطلب خطوات تقليدية أقل من غيرها لتحقيق جودة معقولة. بناءً على ذلك ، لا تقوم الطريقة بتخزين نتائج الحساب خلال عملية الانتشار فحسب ، بل تقوم أيضًا بتصميم استراتيجية ذاكرة التخزين المؤقت المخصصة لكل توليد فيديو ، وبالتالي زيادة المفاضلة بين الجودة والكمون.
قدم الباحثون كذلك نظام تنظيم الحركة (MORYG) ، والذي يستخدم معلومات الفيديو في Adacache للتحكم في تخصيص موارد الحوسبة بناءً على محتوى الحركة. نظرًا لأن تسلسلات الفيديو التي تحتوي على قوام عالي التردد وكميات كبيرة من محتوى الحركة تتطلب المزيد من خطوات الانتشار لتحقيق جودة معقولة ، يمكن لموردوج تخصيص موارد الحوسبة بشكل أفضل.
تُظهر النتائج التجريبية أن ADACACHE يمكن أن يحسن سرعة الاستدلال بشكل كبير (على سبيل المثال ، ما يصل إلى 4.7 مرات أسرع في توليد الفيديو مفتوح SORA720P -2S) دون التضحية بجودة التوليد. بالإضافة إلى ذلك ، لدى Adacache إمكانيات تعميم جيدة ويمكن تطبيقها على نماذج مختلفة للفيديو DIT ، مثل المفتوح ، المفتوح-Sora-plan ، و Latte. تتمتع Adacache بمزايا كبيرة في كل من السرعة والجودة مقارنة بطرق التسارع الخالية من التدريب الأخرى مثل ∆-DIT و T-Gate و PAB.
تظهر أبحاث المستخدم أن المستخدمين يفضلون مقاطع الفيديو التي تم إنشاؤها بواسطة Adacache مقارنة بالطرق الأخرى ويعتقدون أن جودتهم قابلة للمقارنة مع النموذج القياسي. تؤكد هذه الدراسة فعالية adacache وتقدم مساهمة مهمة في مجال توليد الفيديو الفعال. يعتقد Meta AI أنه يمكن استخدام Adacache على نطاق واسع وتعزيز تعميم توليد الفيديو الطويل العالي.
ورقة: https://arxiv.org/abs/2411.02397
الصفحة الرئيسية للمشروع:
https://adacache-dit.github.io/
جيثب:
https://github.com/adacache-dit/adacache
باختصار ، توفر Adacache ، كطريقة فعالة لتسريع توليد الفيديو ، إمكانيات جديدة لتوليد مقاطع الفيديو الطويلة ذات الإثبات العالي ، وتحسين الأداء الكبير وتجربة المستخدم الجيدة تجعلها تتمتع بآفاق واسعة في التطبيقات المستقبلية. حقق هذا البحث الذي أجرته Meta AI اختراقات مهمة في مجال توليد الفيديو الفعال.