การควบคุมพลังของ MLLM สำหรับ ReID บุคคลจากข้อความเป็นรูปภาพที่ถ่ายโอนได้ (CVPR 2024)

ความต้องการ

 pytorch 1.9.0
torchvision 0.10.0
prettytable
easydict

1、สร้าง LUPerson-MLLM

ดาวน์โหลดภาพ LUPerson ได้จากที่นี่
ใช้ MLLM เพื่อใส่คำอธิบายประกอบรูปภาพ LUPerson ดูเควนเป็นตัวอย่าง รหัสสำหรับคำอธิบายภาพมีอยู่ในโฟลเดอร์ captions ภายในคุณจะพบเทมเพลต 46 แบบพร้อมกับคำแนะนำแบบคงที่และไดนามิก คุณสามารถดาวน์โหลดคำอธิบายทั้งหมดสำหรับ LUPerson-MLLM สุดท้ายได้จากที่นี่
วางคำอธิบายที่สร้างขึ้นในโฟลเดอร์ captions

2、เตรียมชุดข้อมูลขั้นปลาย

ดาวน์โหลดชุดข้อมูล CUHK-PEDES จากที่นี่ ชุดข้อมูล ICFG-PEDES จากที่นี่ และแบบฟอร์มชุดข้อมูล RSTPReid ที่นี่

3、Pretrain Model (การตั้งค่าการถ่ายโอนโดยตรง)

หากต้องการฝึกโมเดลของคุณล่วงหน้า คุณสามารถเรียกใช้ sh run.sh ได้ หลังจากการฝึกโมเดลเสร็จสิ้น จะให้ประสิทธิภาพของการตั้งค่าการถ่ายโอนโดยตรง

4、ปรับแต่งโมเดลที่ได้รับการฝึกล่วงหน้าบนชุดข้อมูลขั้นปลาย (การตั้งค่าปรับแต่งอย่างละเอียด)

เราเผยแพร่จุดตรวจสอบโมเดลพรีเทรนที่นี่
หากต้องการปรับแต่งโมเดลของคุณอย่างละเอียด คุณสามารถรัน sh finetune.sh --finetune checkpoint.pth ได้ หลังจากการฝึกโมเดลเสร็จสิ้น จะให้ประสิทธิภาพของการตั้งค่าแบบละเอียด

รับทราบ

ซื้อคืนนี้ยืมบางส่วนจาก IRRA

การอ้างอิง

 @article{tan2024harnessing,
  title={Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID},
  author={Wentao Tan, Changxing Ding, Jiayu Jiang, Fei Wang, Yibing Zhan, Dapeng Tao},
  journal={CVPR},
  year={2024},
}