Sobre la generalización de tiro cero en el tiempo de prueba de los modelos visión-lenguaje: ¿realmente necesitamos un aprendizaje rápido? [aceptado en CVPR 2024]

Documento: Sobre la generalización de tiro cero de los modelos de visión y lenguaje en el momento de la prueba: ¿Realmente necesitamos un aprendizaje rápido? .

Autores: Maxime Zanella, Ismail Ben Ayed.

Este es el repositorio oficial de GitHub de nuestro artículo aceptado en CVPR '24. Este trabajo presenta el método MeanShift Test-time Augmentation (MTA), que aprovecha los modelos Vision-Language sin la necesidad de un aprendizaje rápido. Nuestro método aumenta aleatoriamente una sola imagen en N vistas aumentadas, luego alterna entre dos pasos clave (consulte mta.py y Detalles en la sección de código):

1. Calcular una puntuación para cada vista aumentada

Este paso implica calcular una puntuación para cada vista aumentada para evaluar su relevancia y calidad (puntuación interna).

Cálculo de puntuación para vistas aumentadas
Figura 1: Cálculo de puntuación para cada vista aumentada.

2. Buscando el modo

Con base en las puntuaciones calculadas en el paso anterior, buscamos la moda de los puntos de datos (MeanShift).

Buscando el modo, ponderado por puntuación
Figura 2: Búsqueda de la moda, ponderada por puntuaciones de inlierness.

Preparación e instalación del conjunto de datos

Seguimos la instalación y el preprocesamiento de TPT. Esto garantiza que su conjunto de datos tenga el formato adecuado. Puedes encontrar su repositorio aquí. Si es más conveniente, puede cambiar los nombres de las carpetas de cada conjunto de datos en el diccionario ID_to_DIRNAME en data/datautils.py (línea 20).

Guía de inicio rápido

Ejecución de MTA

Ejecute MTA en el conjunto de datos de ImageNet con una semilla aleatoria de 1 y el mensaje 'una foto de a' ingresando el siguiente comando:

python main.py --data /path/to/your/data --mta --testsets I --seed 1

O los 15 conjuntos de datos a la vez:

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

Detalles sobre el código

Más información sobre el procedimiento en mta.py.

Función: `gaussian_kernel`

Propósito : Calcula la estimación de la densidad del núcleo gaussiano de los puntos de datos en relación con el modo.
Proceso :
- Calcula la distancia euclidiana entre cada punto de datos y la moda.
- Aplica la función gaussiana a estas distancias para calcular los valores de densidad.

Función: `solve_mta`

Objeto : Resuelve el procedimiento alternativo del MTA.
Proceso :
1. Extracción de características : Calcula características de imágenes y texto.
2. Inicialización :
  - Calcula distancias por pares entre características de la imagen para determinar el ancho de banda del núcleo gaussiano.
  - Inicializa la matriz de afinidad según el softmax de logits escalados.
  - Establece los valores iniciales para las puntuaciones de interioridad ( y ) de manera uniforme.
3. Optimización iterativa :
  - Alterna entre actualizar las puntuaciones internas y el modo.
4. Cálculo de salida : Calcula la salida final mediante la similitud del coseno del modo final con las características del texto.

Citación

Si encuentra útil este proyecto, cítelo de la siguiente manera:

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}