Framer

شفرة المصدر الأخرى

تنزيل

فريمر

Framer: استيفاء الإطار التفاعلي

ون وانغ ^1,2 ، كيويو وانغ ² ، كيتشنغ تشنغ ² ، هاو أويانغ ² ، زيكاي تشين ¹ ، بياو جونج ² ، هاو تشين ¹ ،
يوجون شين ² ، تشون هوا شين ¹

¹ جامعة تشجيانغ، الصين، ² مجموعة آنت

؟ ليرة تركية؛ د

نقترح Framer، وهي طريقة أكثر قابلية للتحكم وتفاعلية لاستيفاء الإطار تسمح للمستخدمين بإنتاج إطارات انتقالية بسلاسة بين صورتين عن طريق تخصيص مسار النقاط الرئيسية المحددة، وتعزيز التحكم والتعامل مع الحالات الصعبة.

المطالبات الرئيسية

توفر الطريقة المقترحة، Framer، استيفاءً تفاعليًا للإطار، مما يسمح للمستخدمين بتخصيص التحولات من خلال تصميم مسارات النقاط الرئيسية المحددة. يخفف هذا الأسلوب من غموض تحويل الصورة، مما يتيح تحكمًا أكثر دقة في الحركات المحلية ويحسن قدرة النموذج على التعامل مع الحالات الصعبة (على سبيل المثال، الكائنات ذات الأشكال والأنماط المختلفة). يتضمن Framer أيضًا وضع "الطيار الآلي" الذي يقوم تلقائيًا بتقدير نقاط المفاتيح وتحسين المسارات، وتبسيط العملية وتمكين نتائج الحركة الطبيعية والمتماسكة مؤقتًا.

المنهجية

يستخدم هذا العمل نموذجًا واسع النطاق لنشر الصور إلى الفيديو (Stable Video Diffusion) تم تدريبه مسبقًا كنموذج أساسي. يقدم تكييفًا إضافيًا للإطار النهائي لتسهيل استيفاء الفيديو ويتضمن فرعًا للتحكم في مسار النقطة لتفاعل المستخدم.

النتائج الرئيسية

يتفوق Framer على أساليب استيفاء الإطارات الحالية من حيث الجودة البصرية والحركة الطبيعية، خاصة في الحالات التي تتضمن حركات معقدة وتغييرات كبيرة في المظهر. يُظهر التقييم الكمي باستخدام FVD (Fréchet Video Distance) أداءً فائقًا مقارنة بالطرق الأخرى. تظهر دراسات المستخدم تفضيلًا قويًا لمخرجات Framer، مما يسلط الضوء على فعاليتها في إنتاج نتائج واقعية وجذابة بصريًا.

سجل التغيير

الافراج عن التعليمات البرمجية ونقاط التفتيش.
28 أكتوبر 2024. العرض التجريبي لـ Huggingface Gradio متاح الآن هنا!
25 أكتوبر 2024. قم بتشغيل صفحة المشروع وقم بتحميل نسخة arXiv الأولية.

يعرض

لاحظ أن مقاطع الفيديو مضغوطة مكانيًا. نحيل القراء إلى صفحة المشروع لمشاهدة مقاطع الفيديو الأصلية.

1. استيفاء الفيديو مع تفاعل المستخدم

ابدأ الصورة	مسار الإدخال ونتائج الاستيفاء	صورة النهاية

2. تحويل الصورة من خلال تفاعل المستخدم

ابدأ الصورة	مسار الإدخال ونتائج الاستيفاء	صورة النهاية

3. استيفاء الفيديو دون التحكم في إدخال المستخدم

ابدأ الصورة	نتائج الاستيفاء	صورة النهاية

4. تركيب عرض الرواية

ابدأ الصورة	نتائج الاستيفاء	صورة النهاية

5. الرسوم المتحركة والرسم الاستيفاء

ابدأ الصورة	نتائج الاستيفاء	صورة النهاية

6. إنشاء الفيديو بفاصل زمني.

ابدأ الصورة	نتائج الاستيفاء	صورة النهاية

الاقتباس BibTeX

يرجى التفكير في الاستشهاد بمقالتنا إذا كان الكود الخاص بنا مفيدًا:

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}