Aprovechar el poder de los MLLM para la ReID de persona transferible de texto a imagen (CVPR 2024)

Requisitos

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1. Construya LUPerson-MLLM

Descargue las imágenes de LUPerson desde aquí.
Utilice MLLM para anotar imágenes de LUPerson. Tomemos a Qwen como ejemplo. El código para los subtítulos de imágenes se proporciona en la carpeta captions . En su interior encontrará 46 plantillas junto con instrucciones estáticas y dinámicas. Puede descargar todas las descripciones del LUPerson-MLLM final desde aquí.
Coloque las descripciones generadas en la carpeta captions .

2. Preparar conjuntos de datos posteriores

Descargue el conjunto de datos CUHK-PEDES desde aquí, el conjunto de datos ICFG-PEDES desde aquí y el formulario del conjunto de datos RSTPReid aquí.

3、Preentrenamiento del modelo (configuración de transferencia directa)

Para preparar previamente su modelo, simplemente puede ejecutar sh run.sh Una vez completada la capacitación del modelo, proporcionará la configuración de transferencia directa.

4. Ajuste el modelo previamente entrenado en conjuntos de datos posteriores (ajuste de configuración)

Publicamos los puntos de control del modelo previo al entrenamiento aquí.
Para ajustar su modelo, simplemente puede ejecutar sh finetune.sh --finetune checkpoint.pth . Una vez completado el entrenamiento del modelo, proporcionará la configuración de ajuste fino.

Expresiones de gratitud

Este repo toma prestado parcialmente del IRRA.

Citación

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}