MLLM4Text ReID

MLLM の力を利用してテキストから画像に転送可能な人物 ReID (CVPR 2024)

要件

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、LUperson-MLLMの構築

ここから LUperson イメージをダウンロードします。
MLLM を使用して LUperson イメージに注釈を付けます。クウェンを例に挙げてみましょう。画像キャプションのコードはcaptionsフォルダーにあります。内部には、静的および動的命令とともに 46 個のテンプレートがあります。最終的な LUperson-MLLM のすべての説明をここからダウンロードできます。
生成された説明をcaptionsフォルダーに配置します。

2、下流データセットの準備

CUHK-PEDES データセットはここから、ICFG-PEDES データセットはここから、RSTPReid データセットフォームはここからダウンロードしてください。

3、Pretrain Model（直接転送設定）

モデルを事前トレーニングするには、単にsh run.shを実行します。モデルのトレーニングが完了すると、直接転送設定のパフォーマンスが提供されます。

4、下流データセットの事前学習モデルを微調整する（微調整設定）

ここで事前トレーニングモデルチェックポイントをリリースします。
モデルを微調整するには、 sh finetune.sh --finetune checkpoint.pth実行するだけです。モデルのトレーニングが完了すると、微調整設定のパフォーマンスが提供されます。

謝辞

このリポジトリは IRRA から部分的に借用しています。

引用

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}

接触

電子メール: [email protected] または [email protected]