الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

UniIR

الصفحة الرئيسية | ؟ مجموعة البيانات (معيار M-BEIR) | ؟ نقاط التفتيش (نماذج UniIR ) | أرخايف | جيثب

يحتوي هذا الريبو على قاعدة التعليمات البرمجية لورقة ECCV-2024 " UniIR : التدريب والقياس المعياري لمستردي المعلومات العالمية متعددة الوسائط"

؟أخبار

  • [2024-04-13] : نسلط الضوء على بحث قيم ومتزامن آخر حول تدريب المستردات متعددة الوسائط التي تتبع التعليمات ومتعددة المهام مع التفاعل المتأخر: PreFLMR: توسيع نطاق المستردات متعددة الوسائط ذات التفاعل المتأخر الدقيق، والذي كان قام به باحثون من جامعة كامبريدج. كما قدموا أيضًا معيار M2KR الذي يمكن استخدامه لتدريب وتقييم مستردي المعلومات العالميين متعددي الوسائط. قد نقوم بدمج معايير M2KR وM-BEIR معًا لتسهيل تقدم هذا المجال.
  • [2024-03-18]: قم بتحرير نقاط التفتيش الكبيرة UniIR (CLIP_SF) و UniIR (BLIP_FF) الكبيرة ؟ نقاط التفتيش
  • [2023-12-21]: لدينا؟ معيار M-BEIR متاح الآن للاستخدام.

مقدمة

نقترح إطار عمل UniIR (استرجاع المعلومات العالمي متعدد الوسائط) لتعلم مسترد واحد لإنجاز (ربما) أي مهمة استرجاع. على عكس أنظمة IR التقليدية، يحتاج UniIR إلى اتباع التعليمات لإجراء استعلام غير متجانس لاسترجاعه من مجموعة مرشحين غير متجانسة تضم ملايين المرشحين في طرائق متنوعة.

<فئة الامتداد= دعابة UniIR" style="width: 80%; الحد الأقصى للعرض: 100%;">

محتوى

  1. م-بير
  2. تمرين
  3. تقييم
  4. حديقة الحيوان النموذجية
  5. الاستشهادات والاتصال

م-بير

لتدريب وتقييم نماذج الاسترجاع متعددة الوسائط العالمية، قمنا ببناء معيار استرجاع واسع النطاق يسمى M-BEIR (علامة BEnchmark المتعددة الوسائط للاسترجاع الموجه).

تحميل M-BEIR

نحن نقدم مجموعة بيانات M-BEIR في ؟ مجموعة البيانات . يرجى اتباع التعليمات الواردة في صفحة HF لتنزيل مجموعة البيانات وإعداد البيانات للتدريب والتقييم. تحتاج إلى إعداد GiT LFS واستنساخ الريبو مباشرةً: 

 git clone https://huggingface.co/datasets/TIGER-Lab/M-BEIR

نماذج UniIR

نحن نقدم قاعدة التعليمات البرمجية للتدريب وتقييم نماذج UniIR CLIP-ScoreFusion وCLIP-FeatureFusion وBLIP-ScoreFusion وBLIP-FeatureFusion.

بيئة

قم بإعداد قاعدة التعليمات البرمجية لمشروع UniIR وبيئة Conda باستخدام الأوامر التالية:

UniIR cd src/models/ conda env create -f UniIR _env.yml">
git clone https://github.com/TIGER-AI-Lab/UniIR
cd UniIR

cd src/models/
conda env create -f UniIR _env.yml

تمرين

لتدريب نماذج UniIR من نقاط تفتيش CLIP وBLIP المدربة مسبقًا، يرجى اتباع الإرشادات أدناه. ستقوم البرامج النصية تلقائيًا بتنزيل نقاط فحص CLIP وBLIP المدربة مسبقًا.

1. قم بتنزيل معيار M-BEIR

يرجى تنزيل معيار M-BEIR باتباع الإرشادات الواردة في قسم M-BEIR .

2. البرامج النصية

لتدريب UniIR CLIP_SF Large بالتكوين الافتراضي:

UniIR_clip/clip_scorefusion/configs_scripts/large/train/inbatch/">
 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/train/inbatch/

قم بتعديل inbatch.yaml لضبط المعلمة الفائقة و run_inbatch.sh لبيئتك ومساراتك الخاصة.

ملحوظة:

  1. قم بتعديل UniIR _DIR في run_inbatch.sh إلى الدليل الذي تريد تخزين نقاط التفتيش فيه.
  2. قم بتعديل MBEIR_DATA_DIR في run_inbatch.sh إلى الدليل حيث تقوم بتخزين معيار M-BEIR.
  3. قم بتعديل SRC_DIR في run_inbatch.sh إلى الدليل حيث تقوم بتخزين قاعدة التعليمات البرمجية لمشروع UniIR (هذا الريبو).
  4. افتراضيًا، يتم تدريب نماذج UniIR على M-BEIR باستخدام السلبيات المجمعة، ولا يتم استخدام السلبيات الثابتة التي توفرها مجموعات البيانات الأصلية.
  5. استخدمنا wandb لتسجيل عملية التدريب. الرجاء التأكد من تعيين بيئة .env مع WANDB_API_KEY و WANDB_PROJECT و WANDB_ENTITY .

ثم يمكنك تشغيل الأمر التالي لتدريب نموذج UniIR CLIP_SF الكبير. 

bash run_inbatch.sh

لتدريب UniIR BLIP_FF Large بالتكوين الافتراضي:

UniIR_blip/blip_featurefusion/configs_scripts/large/train/inbatch/">
 cd src/models/ UniIR _blip/blip_featurefusion/configs_scripts/large/train/inbatch/

قم بتعديل inbatch.yaml لضبط المعلمة الفائقة و run_inbatch.sh لبيئتك ومساراتك الخاصة. 

bash run_inbatch.sh

وبالمثل، يمكنك تدريب نماذج UniIR CLIP_FF وBLIP_SF عن طريق تعديل البرامج النصية المقابلة.

تقييم

نحن نقدم مسار التقييم لنماذج UniIR وفقًا لمعيار M-BEIR.

1. البيئة

الرجاء إنشاء بيئة لمكتبة FAISS: 

 # From the root directory of the project
cd src/common/
conda env create -f faiss_env.yml

2. قم بتنزيل معيار M-BEIR

يرجى تنزيل معيار M-BEIR باتباع الإرشادات الواردة في قسم M-BEIR .

3. قم بتنزيل نقاط تفتيش UniIR

يمكنك تدريب نماذج UniIR من البداية أو تنزيل نقاط فحص UniIR المدربة مسبقًا باتباع الإرشادات الموجودة في قسم Model Zoo .

4. البرامج النصية

لتقييم UniIR CLIP_SF Large بالتكوين الافتراضي:

UniIR_clip/clip_scorefusion/configs_scripts/large/eval/inbatch/">
 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/eval/inbatch/

قم بتعديل embed.yaml و index.yaml و retrieval.yaml و run_eval_pipeline_inbatch.sh لبيئتك الخاصة والمسارات وإعدادات التقييم.

ملحوظة:

  1. إذا قمت بتنزيل نموذج UniIR الذي تم تدريبه مسبقًا، فيرجى تعديل UniIR _DIR في run_eval_pipeline_inbatch.sh إلى الدليل الذي تريد تخزين الملفات الكبيرة فيه بما في ذلك نقاط التفتيش والتضمينات والفهرس ونتائج الاسترجاع. ثم يمكنك وضع الملف clip_sf_large.pth في المسار التالي:
    UniIR_DIR/checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth">
     $ UniIR _DIR /checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth
    هذا هو المسار الافتراضي المحدد بواسطة model.ckpt_config في ملف embed.yaml .
  2. قم بتعديل MBEIR_DATA_DIR في run_eval_pipeline_inbatch.sh إلى الدليل حيث تقوم بتخزين معيار M-BEIR.
  3. قم بتعديل SRC_DIR في run_eval_pipeline_inbatch.sh إلى الدليل حيث تقوم بتخزين قاعدة التعليمات البرمجية لمشروع UniIR (هذا الريبو).

سيقوم التكوين الافتراضي بتقييم نموذج UniIR CLIP_SF الكبير على كل من معايير M-BEIR (مجموعة المرشحين غير المتجانسة 5.6M) ومعايير M-BEIR_local (مجموعة المرشحين المتجانسة). يشير UNION في ملفات yaml إلى M-BEIR (مجموعة مرشحين غير متجانسة تبلغ 5.6 مليون). يمكنك متابعة التعليقات الموجودة في ملفات yaml وتعديل التكوينات لتقييم النموذج على معيار M-BEIR_local فقط. 

bash run_eval_pipeline_inbatch.sh

سيتم حفظ نتائج embed index logger ونتائج retrieval_results في دليل $ UniIR _DIR .

لتقييم UniIR BLIP_FF Large بالتكوين الافتراضي: 

 cd src/models/unii_blip/blip_featurefusion/configs_scripts/large/eval/inbatch/

وبالمثل، إذا قمت بتنزيل نموذج UniIR الذي تم تدريبه مسبقًا، فيمكنك وضع ملف blip_ff_large.pth في المسار التالي:

UniIR_DIR/checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth">
 $ UniIR _DIR /checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth

سيقوم التكوين الافتراضي بتقييم نموذج UniIR BLIP_FF الكبير على كل من معايير M-BEIR وM-BEIR_local. 

bash run_eval_pipeline_inbatch.sh

تقييم يونيراج

تقييم UniRAG يشبه إلى حد كبير التقييم الافتراضي مع الاختلافات التالية:

  • يقوم بتخزين ملفات jsonl التي تحتوي على الاستعلامات والمرشحين الذين تم استردادهم ضمن retrieval_results . يعد هذا مفيدًا عندما يتم استخدام النتائج المستردة في التطبيقات النهائية مثل RAG.
  • عندما يتم تعيين retrieve_image_text_pairs في retrieval.yaml على True ، سيتم جلب مرشح مكمل لكل مرشح بطريقة text أو image فقط. مع هذا الإعداد، سيكون للمرشح ومكمله دائمًا image, text . يتم جلب المرشحين المكملين باستخدام المرشحين الأصليين كاستعلامات (على سبيل المثال، نص الاستعلام -> صورة المرشح -> نص المرشح المكمل ).
  • لتشغيل التقييمات في وضع UniRAG، اتبع الإرشادات الواردة أعلاه مع استبدال InBatch و inbatch بـ UniRAG و unirag ، على التوالي.

يمكنك تدريب وتقييم نماذج UniIR CLIP_FF وBLIP_SF عن طريق تعديل البرامج النصية المقابلة.

حديقة الحيوان النموذجية

نحن نقدم نقاط التفتيش النموذجية UniIR في ؟ نقاط التفتيش . يمكنك استخدام نقاط التفتيش مباشرة لمهام الاسترداد أو ضبط النماذج لمهام الاسترداد الخاصة بك.

نقاط التفتيش المتاحة

اسم النموذج إصدار حجم النموذج رابط النموذج
UniIR (CLIP-SF) كبير 5.13 جيجابايت رابط التحميل
UniIR (BLIP-FF) كبير 7.49 جيجابايت رابط التحميل

يمكنك تنزيلها عن طريق 

 git clone https://huggingface.co/TIGER-Lab/UniIR

الاقتباس والاتصال

بيبيتكس:

UniIR, title={ UniIR : Training and benchmarking universal multimodal information retrievers}, author={Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu}, journal={arXiv preprint arXiv:2311.17136}, year={2023} }">
 @article { wei2023 UniIR ,
  title = { UniIR : Training and benchmarking universal multimodal information retrievers } ,
  author = { Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu } ,
  journal = { arXiv preprint arXiv:2311.17136 } ,
  year = { 2023 }
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل