Aproveitando o poder dos MLLMs para ReID transferível de pessoa de texto para imagem (CVPR 2024)

Requisitos

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、Construir LUPerson-MLLM

Baixe as imagens LUPerson aqui.
Use MLLMs para anotar imagens LUPerson. Tome Qwen como exemplo. O código para legenda de imagens é fornecido na pasta captions . Dentro, você encontrará 46 modelos junto com instruções estáticas e dinâmicas. Você pode baixar todas as descrições do LUPerson-MLLM final aqui.
Coloque as descrições geradas na pasta captions .

2、Preparar conjuntos de dados downstream

Baixe o conjunto de dados CUHK-PEDES aqui, o conjunto de dados ICFG-PEDES aqui e o formulário do conjunto de dados RSTPReid aqui.

3、Modelo de pré-treinamento (configuração de transferência direta)

Para pré-treinar seu modelo, você pode simplesmente executar sh run.sh . Após a conclusão do treinamento do modelo, ele fornecerá o desempenho da configuração de transferência direta.

4、Ajuste o modelo pré-treinado em conjuntos de dados downstream (configuração de ajuste fino)

Liberamos os pontos de verificação do modelo de pré-treinamento aqui.
Para ajustar seu modelo, você pode simplesmente executar sh finetune.sh --finetune checkpoint.pth . Após a conclusão do treinamento do modelo, ele fornecerá o desempenho da configuração de ajuste fino.

Agradecimentos

Este repo toma emprestado parcialmente do IRRA.

Citação

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}