تسخير قوة MLLMs لـ ReID الشخصي القابل للتحويل من نص إلى صورة (CVPR 2024)

متطلبات

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1 、 بناء LUPerson-MLLM

قم بتنزيل صور LUPerson من هنا.
استخدم MLLMs لإضافة تعليقات توضيحية إلى صور LUPerson. خذ كوين كمثال. يتم توفير رمز التسمية التوضيحية للصورة في مجلد captions . ستجد في الداخل 46 قالبًا بالإضافة إلى تعليمات ثابتة وديناميكية. يمكنك تنزيل جميع الأوصاف الخاصة بـ LUPerson-MLLM النهائية من هنا.
ضع الأوصاف التي تم إنشاؤها في مجلد captions .

2، إعداد مجموعات البيانات النهائية

قم بتنزيل مجموعة بيانات CUHK-PEDES من هنا، ومجموعة بيانات ICFG-PEDES من هنا، ونموذج مجموعة بيانات RSTPreid هنا.

3 、 نموذج التدريب المسبق (إعداد النقل المباشر)

للتدريب المسبق على النموذج الخاص بك، يمكنك ببساطة تشغيل sh run.sh . بعد اكتمال تدريب النموذج، سيتم توفير أداء إعداد النقل المباشر.

4、ضبط النموذج المُدرب مسبقًا على مجموعات البيانات النهائية (إعداد الضبط الدقيق)

قمنا بإصدار نقاط التفتيش النموذجية للتدريب المسبق هنا.
لضبط النموذج الخاص بك، يمكنك ببساطة تشغيل sh finetune.sh --finetune checkpoint.pth . بعد اكتمال التدريب على النموذج، سيتم توفير أداء الإعداد الدقيق.

شكر وتقدير

يستعير هذا الريبو جزئيًا من IRRA.

الاقتباس

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}