Memanfaatkan Kekuatan MLLM untuk ReID Orang Text-to-Image yang Dapat Dipindahtangankan (CVPR 2024)

Persyaratan

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、Bangun LUPerson-MLLM

Unduh gambar LUPerson dari sini.
Gunakan MLLM untuk memberi anotasi pada gambar LUPerson. Ambil Qwen sebagai contoh. Kode untuk caption gambar disediakan di folder captions . Di dalamnya, Anda akan menemukan 46 template beserta instruksi statis dan dinamis. Anda dapat mengunduh semua deskripsi LUPerson-MLLM final dari sini.
Tempatkan deskripsi yang dihasilkan di folder captions .

2、Menyiapkan Kumpulan Data Hilir

Unduh dataset CUHK-PEDES dari sini, dataset ICFG-PEDES dari sini dan formulir dataset RSTPReid di sini.

3、Model Pra-latihan (pengaturan transfer langsung)

Untuk melatih model Anda terlebih dahulu, Anda cukup menjalankan sh run.sh . Setelah pelatihan model selesai, maka akan memberikan kinerja pengaturan transfer langsung.

4、Menyempurnakan Model yang Telah Dilatih pada Kumpulan Data Hilir (menyempurnakan pengaturan)

Kami merilis Pos Pemeriksaan Model Pralatihan di sini.
Untuk menyempurnakan model Anda, Anda cukup menjalankan sh finetune.sh --finetune checkpoint.pth . Setelah pelatihan model selesai, ini akan memberikan kinerja pengaturan yang disempurnakan.

Ucapan Terima Kasih

Repo ini meminjam sebagian dari IRRA.

Kutipan

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}