Sobre a generalização zero-shot em tempo de teste de modelos de linguagem visual: realmente precisamos de aprendizado imediato? [aceito no CVPR 2024]

Artigo: Sobre a generalização zero-shot em tempo de teste de modelos de linguagem de visão: realmente precisamos de aprendizado imediato? .

Autores: Maxime Zanella, Ismail Ben Ayed.

Este é o repositório oficial do GitHub para nosso artigo aceito no CVPR '24. Este trabalho apresenta o método MeanShift Test-time Augmentation (MTA), aproveitando modelos de Visão-Linguagem sem a necessidade de aprendizado imediato. Nosso método aumenta aleatoriamente uma única imagem em N visualizações aumentadas e, em seguida, alterna entre duas etapas principais (consulte mta.py e detalhes na seção de código):

1. Calculando uma pontuação para cada visualização aumentada

Esta etapa envolve o cálculo de uma pontuação para cada visualização aumentada para avaliar sua relevância e qualidade (pontuação de inlierness).

Cálculo de pontuação para visualizações aumentadas
Figura 1: Cálculo da pontuação para cada visualização aumentada.

2. Buscando o Modo

Com base nas pontuações calculadas na etapa anterior, buscamos a moda dos pontos de dados (MeanShift).

Buscando a moda, ponderada por pontuação
Figura 2: Busca da moda, ponderada pelas pontuações de inlierness.

Preparação e instalação de conjunto de dados

Seguimos a instalação e o pré-processamento do TPT. Isso garante que seu conjunto de dados seja formatado adequadamente. Você pode encontrar o repositório deles aqui. Se for mais conveniente, você pode alterar os nomes das pastas de cada conjunto de dados no dicionário ID_to_DIRNAME em data/datautils.py (linha 20).

Guia de início rápido

Executando MTA

Execute o MTA no conjunto de dados ImageNet com uma semente aleatória de 1 e prompt 'a photo of a' digitando o seguinte comando:

python main.py --data /path/to/your/data --mta --testsets I --seed 1

Ou os 15 conjuntos de dados de uma vez:

python main.py --data /path/to/your/data --mta --testsets I/A/R/V/K/DTD/Flower102/Food101/Cars/SUN397/Aircraft/Pets/Caltech101/UCF101/eurosat --seed 1

Detalhes no código

Mais informações sobre o procedimento em mta.py.

Função: `gaussian_kernel`

Objetivo : Calcula a estimativa de densidade do kernel gaussiano de pontos de dados relativos ao modo.
Processo :
- Calcula a distância euclidiana entre cada ponto de dados e o modo.
- Aplica a função gaussiana a essas distâncias para calcular valores de densidade.

Função: `solve_mta`

Objetivo : Resolve o procedimento alternativo do MTA.
Processo :
1. Extração de recursos : calcula recursos de imagem e texto.
2. Inicialização :
  - Calcula distâncias aos pares entre recursos de imagem para determinar a largura de banda do kernel gaussiano.
  - Inicializa a matriz de afinidade com base no softmax de logits escalados.
  - Define valores iniciais para pontuações de inlierness ( y ) uniformemente.
3. Otimização iterativa :
  - Alterna entre a atualização das pontuações de inlierness e o modo.
4. Cálculo de saída : calcula a saída final por similaridade de cosseno do modo final com os recursos de texto.

Citação

Se você achar este projeto útil, cite-o da seguinte forma:

 @inproceedings { zanella2024test ,
  title = { On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning? } ,
  author = { Zanella, Maxime and Ben Ayed, Ismail } ,
  booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition } ,
  pages = { 23783--23793 } ,
  year = { 2024 }
}