Pada Saat Uji Coba Generalisasi Zero-Shot Model Vision-Language: Apakah Kita Benar-Benar Membutuhkan Pembelajaran Segera? [diterima di CVPR 2024]

Makalah: Pada Saat Uji Coba Generalisasi Zero-Shot Model Vision-Language: Apakah Kita Benar-benar Membutuhkan Pembelajaran yang Cepat? .

Penulis: Maxime Zanella, Ismail Ben Ayed.

Ini adalah repositori resmi GitHub untuk makalah kami yang diterima di CVPR '24. Karya ini memperkenalkan metode MeanShift Test-time Augmentation (MTA), yang memanfaatkan model Vision-Language tanpa memerlukan pembelajaran cepat. Metode kami secara acak menambah satu gambar menjadi N tampilan yang ditambah, lalu bergantian antara dua langkah utama (lihat mta.py dan Detail di bagian kode.):

1. Menghitung Skor untuk Setiap Tampilan yang Diperbesar

Langkah ini melibatkan penghitungan skor untuk setiap tampilan yang diperbesar untuk menilai relevansi dan kualitasnya (skor inlierness).

Perhitungan skor untuk tampilan yang diperbesar
Gambar 1: Perhitungan skor untuk setiap tampilan yang diperbesar.

2. Mencari Modus

Berdasarkan skor yang dihitung pada langkah sebelumnya, kami mencari mode titik data (MeanShift).

Mencari mode, ditimbang berdasarkan skor
Gambar 2: Mencari mode, diberi bobot berdasarkan skor inlierness.

Persiapan dan Instalasi Set Data

Kami mengikuti instalasi dan pra-pemrosesan TPT. Ini memastikan bahwa kumpulan data Anda diformat dengan tepat. Anda dapat menemukan repositori mereka di sini. Jika lebih nyaman Anda dapat mengubah nama folder setiap dataset di kamus ID_to_DIRNAME di data/datautils.py (baris 20).

Panduan Memulai Cepat

Menjalankan MTA

Jalankan MTA pada dataset ImageNet dengan seed acak 1 dan prompt 'foto' dengan memasukkan perintah berikut:

python main.py --data /path/to/your/data --mta --testsets I --seed 1

Atau 15 dataset sekaligus:

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

Detail kodenya

Informasi lebih lanjut tentang prosedur di mta.py.

Fungsi: `gaussian_kernel`

Tujuan : Menghitung estimasi kepadatan kernel Gaussian dari titik data relatif terhadap mode.
Proses :
- Menghitung jarak Euclidean antara setiap titik data dan mode.
- Menerapkan fungsi Gaussian pada jarak ini untuk menghitung nilai kepadatan.

Fungsi: `solve_mta`

Tujuan : Menyelesaikan prosedur alternatif MTA.
Proses :
1. Ekstraksi Fitur : Menghitung fitur gambar dan teks.
2. Inisialisasi :
  - Menghitung jarak berpasangan antar fitur gambar untuk menentukan bandwidth untuk kernel Gaussian.
  - Menginisialisasi matriks afinitas berdasarkan softmax logit berskala.
  - Menetapkan nilai awal untuk skor inlierness ( y ) secara seragam.
3. Pengoptimalan berulang :
  - Bergantian antara memperbarui skor inlierness dan mode.
4. Perhitungan Keluaran : Menghitung keluaran akhir berdasarkan kemiripan kosinus mode akhir dengan fitur teks.

Kutipan

Jika Anda merasa proyek ini bermanfaat, harap kutip sebagai berikut:

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}