UniIR

UniIR

Página inicial | ? Conjunto de dados (referência M-BEIR) | ? Pontos de verificação (modelos UniIR ) | arXiv | GitHub

Este repositório contém a base de código para o artigo ECCV-2024 " UniIR : Training and Benchmarking Universal Multimodal Information Retrievers"

?Notícias

• [2024-04-13] : Destacamos outra pesquisa valiosa e simultânea sobre o treinamento de recuperadores multimodais multitarefa, que seguem instruções e com interação tardia: PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers , que foi feito pelos pesquisadores da Universidade de Cambridge. Eles também introduziram o benchmark M2KR, que pode ser usado para treinar e avaliar recuperadores de informação universais multimodais. Podemos combinar os benchmarks M2KR e M-BEIR para facilitar o avanço neste campo.
• [2024-03-18]: Liberar os pontos de verificação UniIR (CLIP_SF) grandes e UniIR (BLIP_FF) grandes ? Pontos de verificação
• [2023-12-21]: Nosso ? O benchmark M-BEIR já está disponível para uso.

Introdução

Propomos a estrutura UniIR (Universal multimodal Information Retrieval) para aprender um único recuperador a realizar (possivelmente) qualquer tarefa de recuperação. Ao contrário dos sistemas tradicionais de RI, UniIR precisa seguir as instruções para realizar uma consulta heterogênea para recuperar de um conjunto heterogêneo de candidatos com milhões de candidatos em diversas modalidades.

Teaser UniIR" estilo = "largura: 80%; largura máxima: 100%;">

Contente

1. M-BEIR
2. Treinamento
3. Avaliação
4. Zoológico Modelo
5. Citações e contato

M-BEIR

Para treinar e avaliar modelos universais de recuperação multimodal, construímos um benchmark de recuperação em larga escala denominado M-BEIR (Multimodal BEnchmark for Instructed Retrieval).

Baixando M-BEIR

Fornecemos o conjunto de dados M-BEIR no formato ? Conjunto de dados . Siga as instruções fornecidas na página HF para baixar o conjunto de dados e prepará-los para treinamento e avaliação. Você precisa configurar o GiT LFS e clonar diretamente o repositório:

 git clone https://huggingface.co/datasets/TIGER-Lab/M-BEIR

Modelos UniIR

Fornecemos a base de código para treinar e avaliar os modelos UniIR CLIP-ScoreFusion, CLIP-FeatureFusion, BLIP-ScoreFusion e BLIP-FeatureFusion.

Ambiente

Prepare a base de código do projeto UniIR e do ambiente Conda usando os seguintes comandos:

UniIR cd src/models/ conda env create -f UniIR _env.yml">

git clone https://github.com/TIGER-AI-Lab/UniIR
cd UniIR

cd src/models/
conda env create -f UniIR _env.yml

Treinamento

Para treinar os modelos UniIR a partir de pontos de verificação CLIP e BLIP pré-treinados, siga as instruções abaixo. Os scripts baixarão automaticamente os pontos de verificação CLIP e BLIP pré-treinados.

1. Baixe o benchmark M-BEIR

Baixe o benchmark M-BEIR seguindo as instruções na seção M-BEIR .

2. Roteiros

Para treinar UniIR CLIP_SF Large com a configuração padrão:

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/train/inbatch/

Modifique inbatch.yaml para ajuste de hiperparâmetros e run_inbatch.sh para seu próprio ambiente e caminhos.

Observação:

1. Modifique o UniIR _DIR em run_inbatch.sh para o diretório onde deseja armazenar os pontos de verificação.
2. Modifique MBEIR_DATA_DIR em run_inbatch.sh para o diretório onde você armazena o benchmark M-BEIR.
3. Modifique o SRC_DIR em run_inbatch.sh para o diretório onde você armazena a base de código do projeto UniIR (este repositório).
4. Por padrão, os modelos UniIR são treinados em M-BEIR com negativos em lote, e os negativos duros fornecidos pelos conjuntos de dados originais não são usados.
5. Usamos o wandb para registrar o processo de treinamento. Certifique-se de que um ambiente .env com WANDB_API_KEY , WANDB_PROJECT e WANDB_ENTITY esteja definido.

Em seguida, você pode executar o seguinte comando para treinar o modelo UniIR CLIP_SF Large.

bash run_inbatch.sh

Para treinar UniIR BLIP_FF Large com a configuração padrão:

 cd src/models/ UniIR _blip/blip_featurefusion/configs_scripts/large/train/inbatch/

Modifique inbatch.yaml para ajuste de hiperparâmetros e run_inbatch.sh para seu próprio ambiente e caminhos.

bash run_inbatch.sh

Da mesma forma, você pode treinar os modelos UniIR CLIP_FF e BLIP_SF modificando os scripts correspondentes.

Avaliação

Fornecemos o pipeline de avaliação para os modelos UniIR no benchmark M-BEIR.

1. Meio Ambiente

Por favor, crie um ambiente para a biblioteca FAISS:

 # From the root directory of the project
cd src/common/
conda env create -f faiss_env.yml

2. Baixe o benchmark M-BEIR

Baixe o benchmark M-BEIR seguindo as instruções na seção M-BEIR .

3. Baixe os pontos de verificação UniIR

Você pode treinar os modelos UniIR do zero ou baixar os pontos de verificação UniIR pré-treinados seguindo as instruções na seção Model Zoo .

4. Roteiros

Para avaliar UniIR CLIP_SF Large com a configuração padrão:

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/eval/inbatch/

Modifique embed.yaml , index.yaml , retrieval.yaml e run_eval_pipeline_inbatch.sh para seu próprio ambiente, caminhos e configurações de avaliação.

Observação:

1. Se você baixar nosso modelo UniIR pré-treinado, modifique o UniIR _DIR em run_eval_pipeline_inbatch.sh para o diretório onde deseja armazenar arquivos grandes, incluindo pontos de verificação, embeddings, índice e resultados de recuperação. Então você pode colocar o arquivo clip_sf_large.pth no seguinte caminho:

    $ UniIR _DIR /checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth

   Este é o caminho padrão especificado por model.ckpt_config no arquivo embed.yaml .
2. Modifique MBEIR_DATA_DIR em run_eval_pipeline_inbatch.sh para o diretório onde você armazena o benchmark M-BEIR.
3. Modifique o SRC_DIR em run_eval_pipeline_inbatch.sh para o diretório onde você armazena a base de código do projeto UniIR (este repositório).

A configuração padrão avaliará o modelo UniIR CLIP_SF Large nos benchmarks M-BEIR (conjunto de candidatos heterogêneos de 5,6 milhões) e M-BEIR_local (conjunto de candidatos homogêneos). UNION nos arquivos yaml refere-se ao M-BEIR (conjunto de candidatos heterogêneos de 5,6 milhões). Você pode seguir os comentários nos arquivos yaml e modificar as configurações para avaliar o modelo apenas no benchmark M-BEIR_local.

bash run_eval_pipeline_inbatch.sh

embed , index , logger e retrieval_results serão salvos no diretório $ UniIR _DIR .

Para avaliar UniIR BLIP_FF Large com a configuração padrão:

 cd src/models/unii_blip/blip_featurefusion/configs_scripts/large/eval/inbatch/

Da mesma forma, se você baixar nosso modelo UniIR pré-treinado, poderá colocar o arquivo blip_ff_large.pth no seguinte caminho:

 $ UniIR _DIR /checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth

A configuração padrão avaliará o modelo UniIR BLIP_FF Large nos benchmarks M-BEIR e M-BEIR_local.

bash run_eval_pipeline_inbatch.sh

Avaliação UniRAG

A avaliação UniRAG é muito semelhante à avaliação padrão, com as seguintes diferenças:

• Ele armazena arquivos jsonl contendo consultas e seus candidatos recuperados em retrieval_results . Isto é útil quando os resultados recuperados serão usados ​​em aplicações downstream como RAG.
• Quando retrieve_image_text_pairs em retrieval.yaml estiver definido como True , um candidato complementar será buscado para cada candidato com modalidade somente text ou image . Com esta configuração, o candidato e seu complemento terão sempre a modalidade image, text . Os candidatos complementares são obtidos usando os candidatos originais como consultas (por exemplo, query _text -> candidate _image -> complement candidate _text ).
• Para executar avaliações no modo UniRAG, siga as instruções fornecidas acima, substituindo InBatch e inbatch por UniRAG e unirag , respectivamente.

Você pode treinar e avaliar os modelos UniIR CLIP_FF e BLIP_SF modificando os scripts correspondentes.

Zoológico modelo

Fornecemos os pontos de verificação do modelo UniIR no ? Pontos de verificação . Você pode usar diretamente os pontos de verificação para tarefas de recuperação ou ajustar os modelos para suas próprias tarefas de recuperação.

Pontos de verificação disponíveis

Nome do modelo	Versão	Tamanho do modelo	Link do modelo
UniIR (CLIP-SF)	Grande	5,13GB	Link para baixar
UniIR (BLIP-FF)	Grande	7,49GB	Link para baixar

Você pode baixá-los por

 git clone https://huggingface.co/TIGER-Lab/UniIR

Citação e Contato

• Cong Wei: [email protected]
• Yang Chen: [email protected]
• Alan Ritter: [email protected]
• Wenhu Chen: [email protected]

BibTeX:

UniIR, title={ UniIR : Training and benchmarking universal multimodal information retrievers}, author={Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu}, journal={arXiv preprint arXiv:2311.17136}, year={2023} }">

 @article { wei2023 UniIR ,
  title = { UniIR : Training and benchmarking universal multimodal information retrievers } ,
  author = { Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu } ,
  journal = { arXiv preprint arXiv:2311.17136 } ,
  year = { 2023 }
}