Использование возможностей MLLM для передачи идентификатора человека с преобразованием текста в изображение (CVPR 2024)

Требования

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、Построить LUPerson-MLLM

Загрузите изображения LUPerson отсюда.
Используйте MLLM для аннотирования изображений LUPerson. Возьмите Квен в качестве примера. Код для подписей к изображениям находится в папке captions . Внутри вы найдете 46 шаблонов, а также статические и динамические инструкции. Вы можете скачать все описания финальной версии LUPerson-MLLM здесь.
Поместите сгенерированные описания в папку captions .

2. Подготовьте наборы данных ниже по течению.

Загрузите набор данных CUHK-PEDES отсюда, набор данных ICFG-PEDES отсюда и форму набора данных RSTPReid здесь.

3. Модель предварительной подготовки (настройка прямой передачи)

Чтобы предварительно обучить свою модель, вы можете просто запустить sh run.sh После завершения обучения модели она обеспечит выполнение настройки прямого переноса.

4. Точная настройка предварительно обученной модели на последующих наборах данных (настройка точной настройки).

Здесь мы публикуем контрольные точки модели перед поездкой.
Чтобы точно настроить вашу модель, вы можете просто запустить sh finetune.sh --finetune checkpoint.pth . После завершения обучения модели она обеспечит выполнение тонкой настройки.

Благодарности

Это репо частично заимствовано у IRRA.

Цитирование

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}