視覚言語モデルのテスト時のゼロショット一般化について: 迅速な学習は本当に必要ですか? [CVPR 2024 で採択]

論文:視覚言語モデルのテスト時のゼロショット一般化について: 迅速な学習は本当に必要ですか? 。

著者: マキシム・ザネラ、イスマイル・ベン・アイド。

これは、CVPR '24 で採択された論文の公式 GitHub リポジトリです。この研究では、迅速な学習を必要とせずに視覚言語モデルを活用する、MeanShift テスト時間拡張 (MTA) メソッドを導入します。私たちの方法では、単一の画像を N 個の拡張ビューにランダムに拡張し、2 つの主要なステップを交互に実行します (mta.py とコードセクションの詳細を参照)。

1. 各拡張ビューのスコアの計算

このステップには、各拡張ビューのスコアを計算して、その関連性と品質 (非直線性スコア) を評価することが含まれます。

図 1: 各拡張ビューのスコア計算。

2. モードを探す

前のステップで計算されたスコアに基づいて、データポイントのモード (MeanShift) を求めます。

スコアで重み付けされたモードを求める
図 2: インライアネススコアによって重み付けされたモードのシーク。

データセットの準備とインストール

TPT のインストールと前処理に従います。これにより、データセットが適切にフォーマットされることが保証されます。ここでリポジトリを見つけることができます。より便利な場合は、data/datautils.py (20 行目) の辞書 ID_to_DIRNAME で各データセットのフォルダー名を変更できます。

クイックスタートガイド

MTA の実行

次のコマンドを入力して、ランダムシード 1 と「a photo of a」プロンプトを使用して、ImageNet データセットに対して MTA を実行します。

python main.py --data /path/to/your/data --mta --testsets I --seed 1

または、一度に 15 個のデータセット:

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

コードの詳細

手順の詳細については、mta.py を参照してください。

関数: `gaussian_kernel`

目的: モードに対するデータポイントのガウスカーネル密度推定値を計算します。
プロセス：
- 各データポイントとモード間のユークリッド距離を計算します。
- ガウス関数をこれらの距離に適用して密度値を計算します。

関数: `solve_mta`

目的: MTA の代替手順を解決します。
プロセス：
1. 特徴抽出: 画像とテキストの特徴を計算します。
2. 初期化:
  - 画像特徴間のペアごとの距離を計算して、ガウスカーネルの帯域幅を決定します。
  - スケーリングされたロジットのソフトマックスに基づいてアフィニティ行列を初期化します。
  - inlierness スコア ( y ) の初期値を均一に設定します。
3. 反復最適化:
  - インライアネススコアとモードの更新を交互に行います。
4. 出力計算: 最終モードとテキスト特徴のコサイン類似度によって最終出力を計算します。

引用

このプロジェクトが役立つと思われる場合は、次のように引用してください。

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}