MLLM4Text ReID

Nutzung der Leistungsfähigkeit von MLLMs für übertragbare Text-zu-Bild-Personen-ReID (CVPR 2024)

Anforderungen

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、Konstruieren Sie LUPerson-MLLM

• Laden Sie die LUPerson-Bilder hier herunter.
• Verwenden Sie MLLMs, um LUPerson-Bilder mit Anmerkungen zu versehen. Nehmen Sie Qwen als Beispiel. Der Code für die Bildunterschrift wird im captions bereitgestellt. Im Inneren finden Sie 46 Vorlagen sowie statische und dynamische Anweisungen. Hier können Sie alle Beschreibungen für das finale LUPerson-MLLM herunterladen.
• Platzieren Sie die generierten Beschreibungen im captions .

2、Vorbereiten von Downstream-Datensätzen

Laden Sie den CUHK-PEDES-Datensatz hier herunter, den ICFG-PEDES-Datensatz hier und das RSTPReid-Datensatzformular hier.

3、Pretrain-Modell (direkte Übertragungseinstellung)

Um Ihr Modell vorab zu trainieren, können Sie einfach sh run.sh ausführen. Nach Abschluss des Modelltrainings wird die Leistung der direkten Übertragungseinstellung bereitgestellt.

4、Feinabstimmung des vorab trainierten Modells für Downstream-Datensätze (Feinabstimmungseinstellung)

Wir veröffentlichen hier die Pretrain Model Checkpoints.
Um Ihr Modell zu optimieren, können Sie einfach sh finetune.sh --finetune checkpoint.pth ausführen. Nach Abschluss des Modelltrainings erfolgt die Feinabstimmung der Leistung.

Danksagungen

Dieses Repo nimmt teilweise Kredite von IRRA auf.

Zitat

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}

Kontakt

E-Mail: [email protected] oder [email protected]

如果可以当然还是希望用中文Kontakt我啦！