MLLM4文本重识别

利用 MLLM 的力量实现可转移的文本到图像行人再识别 (CVPR 2024)

要求

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、构建LUPerson-MLLM

从此处下载 LUPerson 图像。
使用 MLLM 注释 LUPerson 图像。以Qwen为例。图像标题的代码在captions文件夹中提供。在里面，您会发现 46 个模板以及静态和动态说明。您可以从此处下载最终 LUPerson-MLLM 的所有描述。
将生成的描述放入captions夹中。

2、准备下游数据集

从这里下载 CUHK-PEDES 数据集，从这里下载 ICFG-PEDES 数据集，从这里下载 RSTPReid 数据集。

3、Pretrain Model（直接转设置）

要预训练模型，您只需运行sh run.sh即可。模型训练完成后，将提供直接传输设置的性能。

4、在下游数据集上微调预训练模型（微调设置）

我们在这里发布了预训练模型检查点。
要微调模型，您只需运行sh finetune.sh --finetune checkpoint.pth 。模型训练完成后，将提供微调设置的性能。

致谢

该回购协议部分借鉴了 IRRA 的内容。

引文

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}

接触

邮箱：[email protected] 或 [email protected]