Exploiter la puissance des MLLM pour le ReID transférable de texte à image (CVPR 2024)

Exigences

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、ConstructionLUPerson-MLLM

Téléchargez les images LUPerson à partir d'ici.
Utilisez des MLLM pour annoter les images LUPerson. Prenons Qwen comme exemple. Le code pour le sous-titrage des images est fourni dans le dossier captions . À l’intérieur, vous trouverez 46 modèles ainsi que des instructions statiques et dynamiques. Vous pouvez télécharger toutes les descriptions du LUPerson-MLLM final à partir d'ici.
Placez les descriptions générées dans le dossier captions .

2、Préparer les ensembles de données en aval

Téléchargez l'ensemble de données CUHK-PEDES à partir d'ici, l'ensemble de données ICFG-PEDES à partir d'ici et le formulaire d'ensemble de données RSTPReid ici.

3、Pretrain Model (paramètres de transfert direct)

Pour pré-entraîner votre modèle, vous pouvez simplement exécuter sh run.sh . Une fois la formation du modèle terminée, il fournira les performances d'un réglage de transfert direct.

4、Affiner le modèle pré-entraîné sur les ensembles de données en aval (paramètres précis)

Nous publions ici les points de contrôle du modèle de pré-entraînement.
Pour affiner votre modèle, vous pouvez simplement exécuter sh finetune.sh --finetune checkpoint.pth . Une fois la formation du modèle terminée, il fournira les performances d'un réglage précis.

Remerciements

Ce repo emprunte partiellement à l'IRRA.

Citation

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}