الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

LVBench: معيار فهم الفيديو الطويل للغاية

[صفحة المشروع] [ورقة arXiv] [مجموعة البيانات] [؟ المتصدرين]]؟ المتصدرين المعانقة]

LVBench هو معيار مصمم لتقييم وتعزيز قدرات النماذج متعددة الوسائط في فهم واستخراج المعلومات من مقاطع الفيديو الطويلة التي تصل مدتها إلى ساعتين.

أخبار

  • 2024.08.2 قمنا بإعداد لوحة المتصدرين LVBench على مساحات Huggingface! قم بالتحقق من لوحة المتصدرين.

  • 2024.06.11 أصدرنا LVBench، وهو معيار جديد لفهم مقاطع الفيديو الطويلة!

أعرض على LVBench

LVBench هو معيار مصمم لتقييم قدرات النماذج في فهم مقاطع الفيديو الطويلة. لقد جمعنا بيانات فيديو طويلة وواسعة النطاق من مصادر عامة، وتم شرحها من خلال مزيج من الجهد اليدوي والمساعدة النموذجية. يوفر معيارنا أساسًا قويًا لاختبار النماذج في سياقات زمنية ممتدة، مما يضمن تقييمًا عالي الجودة من خلال التعليقات التوضيحية البشرية الدقيقة ومراقبة الجودة متعددة المراحل.

سمات

  1. القدرات الأساسية : ست قدرات أساسية لفهم الفيديو لفترة طويلة، مما يتيح إنشاء أسئلة معقدة وصعبة لتقييم النموذج الشامل.

  2. بيانات متنوعة : مجموعة متنوعة من بيانات الفيديو الطويلة، يبلغ متوسطها خمس مرات أطول من أطول مجموعات البيانات الموجودة، وتغطي فئات مختلفة.

  3. تعليقات توضيحية عالية الجودة : معيار موثوق به مع تعليقات توضيحية بشرية دقيقة وعمليات مراقبة الجودة متعددة المراحل.

مجموعة البيانات

رخصة

مجموعة البيانات الخاصة بنا تخضع لترخيص CC-BY-NC-SA-4.0.

يستخدم LVBench فقط للبحث الأكاديمي. يحظر الاستخدام التجاري بأي شكل من الأشكال. نحن لا نملك حقوق الطبع والنشر لأي ملفات فيديو خام.

إذا كان هناك أي انتهاك في LVBench، فيرجى الاتصال بـ [email protected] أو إثارة مشكلة مباشرةً، وسنقوم بإزالتها على الفور.

تحميل

قم بتثبيت video2dataset أولاً:

 نقطة تثبيت video2dataset
نقطة إلغاء تثبيت محرك المحول

ثم يجب عليك تنزيل video_info.meta.jsonl من Huggingface ووضعه في دليل data .

يحتوي كل إدخال في ملف video_info.meta.jsonl على حقل مفتاح يتوافق مع معرف فيديو YouTube. يمكن للمستخدمين تنزيل الفيديو المقابل باستخدام هذا المعرف. وبدلاً من ذلك، يمكن للمستخدمين استخدام برنامج التنزيل الذي نقدمه، download.sh، للتنزيل:

 مخطوطات القرص المضغوط
باش download.sh

بعد التنفيذ، سيتم تخزين ملفات الفيديو في دليل script/videos .

قم بتثبيت LVBench

 تثبيت النقطة -e .

احصل على نتائج التقييم وأرسلها إلى لوحة المتصدرين

(ملاحظة: إذا كنت تريد تجربة التقييم بسرعة، فيمكنك استخدام scripts/construct_random_answers.py لإعداد ملف إجابات عشوائي.)

 مخطوطات القرص المضغوط
بايثون test_acc.py

بعد التنفيذ، سوف تحصل على ملف نتائج التقييم result.json في دليل scripts . يمكنك تقديم النتائج إلى المتصدرين.

نتائج

  • مقارنة النموذج:

  • المقارنة المعيارية:

  • النموذج مقابل الإنسان:

  • توزيع الإجابة:

الاقتباس

إذا وجدت عملنا مفيدًا لبحثك، فيرجى التفكير في الاستشهاد بعملنا.

 @misc{wang2024lvbench, title={LVBench: معيار فهم الفيديو الطويل للغاية},
       المؤلف={Weihan Wang وZehai He وWenyi Hong وYean Cheng وXiaohan Zhang وJi Qi وShiyu Huang وBin Xu وYuxiao Dong وMing Ding and Jie Tang}، العام={2024}، eprint={2406.08035}، archivePrefix ={arXiv}, PrimaryClass={cs.CV}}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل