MLLM4Text ReID

전송 가능한 텍스트-이미지 개인 ReID를 위해 MLLM의 성능 활용(CVPR 2024)

요구사항

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、LUPerson-MLLM 구축

여기에서 LUPerson 이미지를 다운로드하세요.
MLLM을 사용하여 LUPerson 이미지에 주석을 추가합니다. Qwen을 예로 들어 보겠습니다. 이미지 캡션을 위한 코드는 captions 폴더에 제공됩니다. 내부에는 정적 및 동적 지침과 함께 46개의 템플릿이 있습니다. 여기에서 최종 LUPerson-MLLM에 대한 모든 설명을 다운로드할 수 있습니다.
생성된 설명을 captions 폴더에 넣습니다.

2、다운스트림 데이터 세트 준비

여기에서 CUHK-PEDES 데이터세트를 다운로드하고, 여기에서 ICFG-PEDES 데이터세트를, 여기에서 RSTPReid 데이터세트를 다운로드하세요.

3、Pretrain 모델(직접 전송 설정)

모델을 사전 훈련하려면 sh run.sh 실행하면 됩니다. 모델 학습이 완료된 후 직접 전송 설정 성능을 제공합니다.

4、다운스트림 데이터세트에서 사전 훈련된 모델 미세 조정(미세 조정 설정)

여기서 Pretrain 모델 체크포인트를 출시합니다.
모델을 미세 조정하려면 sh finetune.sh --finetune checkpoint.pth 실행하면 됩니다. 모델 훈련이 완료된 후 미세 조정 설정 성능을 제공합니다.

감사의 말

이 저장소는 IRRA에서 부분적으로 차용했습니다.

소환

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}

연락하다

이메일: [email protected] 또는 [email protected]