Nutzung der Leistungsfähigkeit von MLLMs für übertragbare Text-zu-Bild-Personen-ReID (CVPR 2024)

Anforderungen

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、Konstruieren Sie LUPerson-MLLM

Laden Sie die LUPerson-Bilder hier herunter.
Verwenden Sie MLLMs, um LUPerson-Bilder mit Anmerkungen zu versehen. Nehmen Sie Qwen als Beispiel. Der Code für die Bildunterschrift wird im captions bereitgestellt. Im Inneren finden Sie 46 Vorlagen sowie statische und dynamische Anweisungen. Hier können Sie alle Beschreibungen für das endgültige LUPerson-MLLM herunterladen.
Platzieren Sie die generierten Beschreibungen im captions .

2、Vorbereiten von Downstream-Datensätzen

Laden Sie den CUHK-PEDES-Datensatz hier, den ICFG-PEDES-Datensatz hier und das RSTPReid-Datensatzformular hier herunter.

3、Pretrain-Modell (direkte Übertragungseinstellung)

Um Ihr Modell vorab zu trainieren, können Sie einfach sh run.sh ausführen. Nach Abschluss des Modelltrainings wird die Leistung der direkten Übertragungseinstellung bereitgestellt.

4、Feinabstimmung des vorab trainierten Modells für Downstream-Datensätze (Feinabstimmungseinstellung)

Wir veröffentlichen hier die Pretrain Model Checkpoints.
Zur Feinabstimmung Ihres Modells können Sie einfach sh finetune.sh --finetune checkpoint.pth ausführen. Nach Abschluss des Modelltrainings erfolgt die Feinabstimmung der Leistung.

Danksagungen

Dieses Repo nimmt teilweise Kredite von IRRA auf.

Zitat

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}