flex dm

نحو نماذج مستندات مرنة متعددة الوسائط (CVPR2023)

هذا المستودع هو تطبيق رسمي للورقة التي تحمل عنوان أعلاه. يرجى الرجوع إلى صفحة المشروع أو الورقة لمزيد من التفاصيل.

يثبت

متطلبات

نحن نتحقق من إمكانية تكرار نتائج في ظل هذه البيئة.

• بايثون3.7
• كودا 11.3
• تنسورفلو 2.8

كيفية التثبيت

تثبيت تبعيات بايثون. ربما يجب أن يتم ذلك داخل venv .

pip install -r requirements.txt

لاحظ أن Tensorflow لديه متطلبات نظام خاصة بالإصدار لبيئة GPU. تحقق من تثبيت وقت تشغيل CUDA/CuDNN المتوافق.

تجارب كريلو

لتجربة العرض التوضيحي على النماذج المدربة مسبقًا

• قم بتنزيل مجموعات البيانات المُجهزة مسبقًا لـ Crello / rico وفك ضغطها ضمن ./data .
• قم بتنزيل نقاط التفتيش المدربة مسبقًا لـ Crello / rico وقم بفك ضغطها ضمن ./results .

تجريبي

يمكنك اختبار بعض المهام باستخدام النماذج المدربة مسبقًا في دفتر الملاحظات.

تمرين

يمكنك تدريب النموذج الخاص بك. يأخذ البرنامج النصي للمدرب بعض الحجج للتحكم في المعلمات الفائقة. راجع src/mfp/mfp/args.py للحصول على قائمة بالخيارات المتاحة. إذا أدى البرنامج النصي إلى إبطاء خطأ نفاد الذاكرة، فيرجى التأكد من أن العمليات الأخرى لا تشغل ذاكرة وحدة معالجة الرسومات وضبط --batch_size .

bin/train_mfp.sh crello --masking_method random  # Ours-IMP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt  # Ours-EXP
bin/train_mfp.sh crello --masking_method elem_pos_attr_img_txt --weights < WEIGHTS >   # Ours-EXP-FT

يقوم المدرب بإخراج السجلات ونتائج التقييم ونقاط التفتيش إلى tmp/mfp/jobs/<job_id> . يمكن مراقبة تقدم التدريب عن طريق tensorboard .

تقييم

تقوم بإجراء التقييم الكمي.

bin/eval_mfp.sh --job_dir < JOB_DIR > ( < ADDITIONAL_ARGS > )

راجع eval.py لـ <ADDITIONAL_ARGS> .

تجارب ريكو

تجريبي

يمكنك اختبار بعض المهام باستخدام النماذج المدربة مسبقًا في دفتر الملاحظات.

تمرين

العملية مشابهة تقريبًا لما هو مذكور أعلاه.

bin/train_mfp.sh rico --masking_method random  # Ours-IMP
bin/train_mfp.sh rico --masking_method elem_pos_attr  # Ours-EXP
bin/train_mfp.sh rico --masking_method elem_pos_attr --weights < WEIGHTS >  # Ours-EXP-FT

تقييم

العملية مشابهة لما ورد أعلاه.

الاقتباس

إذا وجدت هذا الكود مفيدًا لبحثك، فيرجى الاستشهاد بمقالتنا.

 @inproceedings{inoue2023document,
    title={{Towards Flexible Multi-modal Document Models}},
    author={Naoto Inoue and Kotaro Kikuchi and Edgar Simo-Serra and Mayu Otani and Kota Yamaguchi},
    booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    year={2023},
    pages={14287-14296},
  }