關於視覺語言模型的測驗時零樣本泛化：我們真的需要即時學習嗎？ [CVPR 2024 已接受]

論文：關於視覺語言模型的測驗時零樣本泛化：我們真的需要快速學習嗎？ 。

作者：馬克西姆·扎內拉、伊斯梅爾·本·艾耶德。

這是我們在 CVPR '24 上接受的論文的官方 GitHub 儲存庫。這項工作引入了 MeanShift 測試時間增強 (MTA) 方法，利用視覺語言模型，無需即時學習。我們的方法將單一影像隨機增強為 N 個增強視圖，然後在兩個關鍵步驟之間交替（請參閱 mta.py 和程式碼部分的詳細資訊。）：

1. 計算每個增強視圖的分數

此步驟涉及計算每個增強視圖的分數，以評估其相關性和品質（內值分數）。

圖 1：每個增強視圖的分數計算。

2. 尋找模式

根據上一個步驟計算的分數，我們尋找資料點的眾數 (MeanShift)。

求眾數，按分數加權
圖 2：尋找眾數，以內點分數加權。

資料集準備安裝

我們遵循 TPT 安裝和預處理。這可確保您的資料集格式正確。您可以在這裡找到他們的存儲庫。如果更方便，您可以變更 data/datautils.py 中字典 ID_to_DIRNAME 中每個資料集的資料夾名稱（第 20 行）。

快速入門指南

運行 MTA

輸入以下指令，使用隨機種子 1 和「a photo of a」提示對 ImageNet 資料集執行 MTA：

python main.py --data /path/to/your/data --mta --testsets I --seed 1

或一次 15 個資料集：

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

代碼詳情

有關 mta.py 過程的詳細資訊。

函數： `gaussian_kernel`

目的：計算資料點相對於模式的高斯核密度估計。
過程：
- 計算每個數據點與眾數之間的歐幾里德距離。
- 將高斯函數應用於這些距離以計算密度值。

函數： `solve_mta`

目的：解決MTA備用程序。
過程：
1. 特徵提取：計算圖像和文字特徵。
2. 初始化：
  - 計算影像特徵之間的成對距離以確定高斯核的頻寬。
  - 根據縮放 logits 的 softmax 初始化親和力矩陣。
  - 統一設定內點分數 ( y ) 的初始值。
3. 迭代優化：
  - 在更新內點分數和眾數之間交替。
4. 輸出計算：透過最終模式與文字特徵的餘弦相似度計算最終輸出。

引文

如果您發現該項目有用，請按以下方式引用：

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}