MLLM4文字重識別

利用 MLLM 的力量實現可轉移的文本到圖像行人再識別 (CVPR 2024)

要求

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、建構LUPerson-MLLM

從此處下載 LUPerson 映像。
使用 MLLM 註解 LUPerson 映像。以Qwen為例。圖像標題的程式碼在captions資料夾中提供。在裡面，您會發現 46 個範本以及靜態和動態說明。您可以從此處下載最終 LUPerson-MLLM 的所有描述。
將產生的描述放入captions夾中。

2、準備下游資料集

從這裡下載 CUHK-PEDES 資料集，從這裡下載 ICFG-PEDES 資料集，從這裡下載 RSTPReid 資料集。

3、Pretrain Model（直接轉設定）

要預先訓練模型，您只需執行sh run.sh即可。模型訓練完成後，將提供直接傳輸設定的效能。

4.在下游資料集上微調預訓練模型（微調設定）

我們在這裡發布了預訓練模型檢查點。
要微調模型，您只需執行sh finetune.sh --finetune checkpoint.pth 。模型訓練完成後，將提供微調設定的效能。

致謝

該回購協議部分借鑒了 IRRA 的內容。

引文

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}

接觸

信箱：[email protected] 或 [email protected]