เกี่ยวกับการวางภาพรวมแบบ Zero-Shot เวลาทดสอบของแบบจำลองภาษาการมองเห็น: เราต้องการการเรียนรู้อย่างรวดเร็วจริงหรือ? [ได้รับการยอมรับที่ CVPR 2024]

เอกสารรายงาน: เกี่ยวกับเวลาทดสอบการทำให้แบบจำลองภาษามองเห็นเป็นศูนย์โดยเวลาทดสอบ: เราต้องการการเรียนรู้อย่างรวดเร็วจริง ๆ หรือไม่ -

ผู้เขียน: มักซีม ซาเนลลา, อิสมาอิล เบน อาเยด

นี่คือพื้นที่เก็บข้อมูล GitHub อย่างเป็นทางการสำหรับรายงานของเราที่ได้รับการยอมรับที่ CVPR '24 งานนี้แนะนำวิธี MeanShift Test-time Augmentation (MTA) โดยใช้ประโยชน์จากแบบจำลองภาษาของการมองเห็นโดยไม่จำเป็นต้องเรียนรู้ทันที วิธีการของเราจะสุ่มเพิ่มรูปภาพเดียวลงในมุมมองเสริม N จากนั้นสลับระหว่างสองขั้นตอนสำคัญ (ดู mta.py และรายละเอียดในส่วนโค้ด):

1. การคำนวณคะแนนสำหรับแต่ละมุมมองที่เพิ่มขึ้น

ขั้นตอนนี้เกี่ยวข้องกับการคำนวณคะแนนสำหรับมุมมองเสริมแต่ละรายการเพื่อประเมินความเกี่ยวข้องและคุณภาพ (คะแนน inlierness)

การคำนวณคะแนนสำหรับมุมมองที่เพิ่มขึ้น
รูปที่ 1: การคำนวณคะแนนสำหรับแต่ละมุมมองเสริม

2. การค้นหาโหมด

จากคะแนนที่คำนวณในขั้นตอนก่อนหน้า เราค้นหาโหมดของจุดข้อมูล (MeanShift)

กำลังค้นหาโหมดถ่วงน้ำหนักด้วยคะแนน
รูปที่ 2: การค้นหาโหมด ถ่วงน้ำหนักด้วยคะแนนความไม่แน่นอน

การเตรียมและติดตั้งชุดข้อมูล

เราปฏิบัติตามการติดตั้ง TPT และการประมวลผลล่วงหน้า เพื่อให้แน่ใจว่าชุดข้อมูลของคุณมีการจัดรูปแบบอย่างเหมาะสม คุณสามารถค้นหาพื้นที่เก็บข้อมูลได้ที่นี่ หากสะดวกกว่า คุณสามารถเปลี่ยนชื่อโฟลเดอร์ของแต่ละชุดข้อมูลในพจนานุกรม ID_to_DIRNAME ใน data/datautils.py (บรรทัดที่ 20)

คู่มือเริ่มต้นใช้งานฉบับย่อ

วิ่งเอ็มทีเอ

ดำเนินการ MTA บนชุดข้อมูล ImageNet ด้วยการสุ่มเมล็ดข้อมูล 1 และพร้อมท์ 'a photo of a' โดยการป้อนคำสั่งต่อไปนี้:

python main.py --data /path/to/your/data --mta --testsets I --seed 1

หรือชุดข้อมูล 15 ชุดพร้อมกัน:

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

รายละเอียดตามโค้ด

ข้อมูลเพิ่มเติมเกี่ยวกับขั้นตอนใน mta.py

ฟังก์ชัน: `gaussian_kernel`

วัตถุประสงค์ : คำนวณการประมาณความหนาแน่นเคอร์เนลแบบเกาส์เซียนของจุดข้อมูลที่สัมพันธ์กับโหมด
กระบวนการ :
- คำนวณระยะทางแบบยุคลิดระหว่างแต่ละจุดข้อมูลและโหมด
- ใช้ฟังก์ชันเกาส์เซียนกับระยะทางเหล่านี้เพื่อคำนวณค่าความหนาแน่น

ฟังก์ชัน: `solve_mta`

วัตถุประสงค์ : แก้ปัญหาขั้นตอนสำรองของ MTA
กระบวนการ :
1. การแยกคุณสมบัติ : คำนวณคุณสมบัติรูปภาพและข้อความ
2. การเริ่มต้น :
  - คำนวณระยะทางแบบคู่ระหว่างฟีเจอร์รูปภาพเพื่อกำหนดแบนด์วิดท์สำหรับเคอร์เนลแบบเกาส์เซียน
  - เริ่มต้นเมทริกซ์ความสัมพันธ์ตาม softmax ของบันทึกที่ปรับขนาด
  - ตั้งค่าเริ่มต้นสำหรับคะแนน inlierness ( y ) สม่ำเสมอ
3. การเพิ่มประสิทธิภาพซ้ำ :
  - สลับระหว่างการอัปเดตคะแนน inlierness และโหมด
4. การคำนวณเอาต์พุต : คำนวณเอาต์พุตสุดท้ายด้วยความคล้ายคลึงโคไซน์ของโหมดสุดท้ายพร้อมคุณสมบัติข้อความ

การอ้างอิง

หากคุณพบว่าโครงการนี้มีประโยชน์ โปรดอ้างอิงดังนี้:

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}