Modality Integration Rate

فك رموز المحاذاة عبر الوسائط في نماذج لغة الرؤية الكبيرة مع معدل تكامل الطريقة

يوفر هذا المستودع تطبيق PyTorch الرسمي للورقة التالية:

فك رموز المحاذاة عبر الوسائط في نماذج لغة الرؤية الكبيرة مع معدل تكامل الطريقة
تشيدونغ هوانغ ^1،2 ، شياويى دونغ ^2،3 ، بان تشانغ ² ، يوهانغ زانغ ² ، يوهانغ كاو ² ، جياكي وانغ ² ، داهوا لين ² ، ويمينغ تشانغ ¹ ، نينغهاي يو ^1
1 جامعة العلوم والتكنولوجيا الصينية، ² مختبر شنغهاي للذكاء الاصطناعي، ³ الجامعة الصينية في هونغ كونغ

أخبار

[2024.10.10] نصدر الورقة في ArXiv وHuggingFace!

[2024.10.10] تم إنشاء صفحة المشروع هذه!

‍ تودو

• الافراج عن رمز MIR
• قم بإصدار كود التدريب ورمز التقييم الخاص بـ MoCa
• الافراج عن نقاط التفتيش MoCa

️TL;DR

1. بالنسبة لمير

إذا كنت تريد فقط استخدام MIR كمؤشر ما قبل التدريب للنموذج الخاص بك، فلا حاجة لبيئة إضافية.

1. تأكد من تثبيت الحزم مثل torch و numpy و scipy .
2. استبدل المعالجة المسبقة للنموذج وتوليده في mir.py برمز النموذج الخاص بك، وسنعرض رمز LLaVA كمرجع.
3. حدد وسيطات الإدخال وقم بتشغيل الأمر:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --text_data_path PATH/TO/TEXT/DATA --image_data_path PATH/TO/VISION/DATA --eval_num 100 --mode fast

لاحظ أن base_llm غير مطلوب إذا قمت بتدريب LLM الأساسي أثناء التدريب المسبق وقمت بتضمين ckpt الخاص به في model_path .

يمكنك أيضًا ضبط الوسائط وفقًا لنمط التهيئة الخاص بنموذجك.

2. لموكا

إذا كنت تريد فقط استخدام MoCa على الطراز الخاص بك، فإننا ننصحك باتباع الخطوات التالية:

1. انسخ رمز وحدة MoCa إلى رمز النمذجة الخاص بالنموذج الخاص بك وتأكد من تجهيز MoCa بطبقة LLM الأساسية في كل من وظائف التهيئة وإعادة التوجيه.
2. تأكد من أن المعالجة المسبقة للإدخال يمكنها حساب modality_mask ، يرجى الرجوع إلى Line183-184 وLine269-276 وLine373-382 في llava/model/llava_arch.py . تأكد أيضًا من إمكانية تسليم modality_mask بنجاح إلى تمرير النموذج الأمامي، على سبيل المثال، إضافته كمعلمة رسمية لكل وظيفة أمامية، مثل Line70 وLine88 وLine96 وLine106 وLine127 وLine137 وLine145 وLine157 وLine166 وLine174 -175 في llava/model/language_model/llava_llama.py .
3. تحقق من بعض التفاصيل لدعم استخدام use_moca=True ، مثل (يوصى بالبحث عن use_moca في هذا الريبو للعثور على الأماكن التي يجب مراجعتها): 1)أضفه إلى تكوين النموذج (هنا). 2) أضفه إلى وسيطات التدريب (هنا). 3) فتحه أثناء التدريب (هنا). 4) تأكد من حفظ نقطة التفتيش الصحيحة (هنا1، هنا2، هنا3).
4. أضف --use_moca عند تشغيل أمر التدريب لتمكين استخدام MoCa.

يثبت

إذا كنت تريد استخدام قاعدة التعليمات البرمجية الخاصة بنا (المعدلة في LLaVA) لإعادة الإنتاج، فننصحك ببناء بيئة جديدة من خلال الخطوات أدناه. الخطوات التالية مدرجة فقط لنظام التشغيل Linux. إذا كنت تستخدم نظام التشغيل macOS أو Windows، فيرجى الرجوع إلى LLaVA.

1. انسخ هذا المستودع وانتقل إلى مجلد Modality-Integration-Rate

 git clone https://github.com/shikiw/Modality-Integration-Rate.git
cd Modality-Integration-Rate

2. تثبيت الحزمة

 conda create -n llava python=3.10 -y
conda activate llava
python -m pip install --upgrade pip  # enable PEP 660 support
python -m pip install -e .
python -m pip install -e transformers-4.37.2

3. تثبيت حزم إضافية لحالات التدريب

 pythom -m pip install -e ".[train]"
pythom -m pip install flash-attn --no-build-isolation

مير

لإعادة إنتاج تطبيق MIR على قاعدة التعليمات البرمجية هذه، يمكنك اتباع الخطوات التالية:

1. حدد text_data_path و image_data_path لحساب MIR. يمكنك أيضًا تحديدها مثل Line55-64 في mir.py ، باستخدام صور TextVQA val ونص CNN/DM بشكل افتراضي، على سبيل المثال،
   1. قم بتنزيل TextVQA_0.5.1_val.json والصور واستخرجها إلى PATH/TO/VISION/DATA .
   2. قم بتنزيل قصص CNN واستخرجها إلى PATH/TO/TEXT/DATA .
   3. قم بتعديل Line55-64 باستخدام مسار بيانات النص ومسار بيانات الصورة.
2. إذا قمت بالتدريب المسبق لـ MLP فقط، فقم بتشغيل هذا الأمر:

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --eval_num 100 --mode fast

3. إذا قمت بالتدريب المسبق لأي جزء من ViT أو LLM الأساسي، فقم بتشغيل هذا الأمر:

 python mir.py --model_path PATH/TO/MODEL --eval_num 100 --mode fast

موكا

تدعم قاعدة التعليمات البرمجية الخاصة بنا --use_moca لتنشيط تنفيذ MoCa. راجع scripts/v1_5/pre_sft_moca.sh لمزيد من التفاصيل.

نموذج	مقاس	جدول	متوسط	MMStar	وزارة البلدية والبيئة	إم إم بي	MMB-CN	SEED-IMG	TextVQA	مم-طبيب بيطري	البابا	GQA
لافا-v1.5	7 ب	full_ft-1e	59.1	30.3	1510.7	64.3	58.3	66.1	58.2	31.1	85.9	62.0
+موكا	7 ب	full_ft-1e	60.6	36.5	1481.0	66.8	60.0	67.0	58.7	32.2	86.9	62.8

يتم تحرير نقاط التفتيش المدربة مسبقًا والمجهزة جيدًا.

يدرب

تعتمد قاعدة التعليمات البرمجية هذه على LLaVA وShareGPT4V، حيث نقدم بعض الميزات الجديدة وهي الآن تدعم المدخلات التالية في البرنامج النصي للإطلاق:

1. --tune_vision_tower و --tune_vit_from_layer
2. --tune_language_model و --tune_llm_utill_layer
3. --tune_entire_model
4. --data_scale
5. --use_moca و- --moca_std

بعض الحالات للرجوع إليها:

1. لتدريب النموذج مسبقًا باستخدام مقياس البيانات المخصص (على سبيل المثال، 200 ألف):

 sh scripts/v1_5/pre_data_scale.sh

2. للتدريب المسبق للنموذج (إلغاء قفل الطبقة 13-24 من ViT والطبقة 1-16 من LLM الأساسي)، وSFT (إلغاء تأمين LLM بالكامل بشكل افتراضي):

 sh scripts/v1_5/pre_unlock_vit-12_llm-16_sft.sh

3. للتدريب المسبق للنموذج (إلغاء قفل الطبقة 13-24 من ViT وLLM الأساسي بالكامل)، وSFT (إلغاء قفل LLM بالكامل افتراضيًا):

 sh scripts/v1_5/pre_unlock_vit-12_llm-all_sft.sh

4. لتطبيق MoCa في التدريب:

 sh scripts/v1_5/pre_sft_moca.sh

تقييم

نحن نتبع التقييم الأصلي في LLaVA لمعظم المعايير. بالنسبة إلى MMStar، نستخدم VLMEvalKit.

انظر تقييم.md.

شكر وتقدير

يعتمد هذا الريبو على قاعدة بيانات LLaVA وShareGPT4V. شكرا لأعمالهم المثيرة للإعجاب!

الاقتباس

إذا وجدت هذا العمل مفيدًا لبحثك، فيرجى الاستشهاد بمقالتنا:

 @article{huang2024deciphering,
  title={Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate},
  author={Huang, Qidong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Cao, Yuhang and Wang, Jiaqi and Lin, Dahua and Zhang, Weiming and Yu, Nenghai},
  journal={arXiv preprint arXiv:2410.07167},
  year={2024}
}