Page d'accueil>Lié à la programmation>Code Source AI
Télécharger

UniIR

Page d'accueil | ? Ensemble de données (référence M-BEIR) | ? Points de contrôle (modèles UniIR ) | arXiv | GitHub

Ce référentiel contient la base de code de l'article ECCV-2024 " UniIR : Training and Benchmarking Universal Multimodal Information Retrievers"

?Nouvelles

  • [2024-04-13] : Nous mettons en évidence une autre recherche précieuse et simultanée sur la formation des récupérateurs multimodaux multitâches suivant des instructions avec interaction tardive : PreFLMR : Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers, qui a été réalisé par les chercheurs de l’Université de Cambridge. Ils ont également présenté le benchmark M2KR qui peut être utilisé pour former et évaluer les récupérateurs d'informations universels multimodaux. Nous pouvons combiner les benchmarks M2KR et M-BEIR pour faciliter l’avancée de ce domaine.
  • [2024-03-18] : Libérer les grands points de contrôle UniIR (CLIP_SF) et UniIR (BLIP_FF) ? Points de contrôle
  • [2023-12-21] : Notre ? M-BEIR Benchmark est désormais disponible.

Introduction

Nous proposons le cadre UniIR (Universal multimodal Information Retrieval) pour apprendre à un seul récupérateur à accomplir (éventuellement) n'importe quelle tâche de récupération. Contrairement aux systèmes IR traditionnels, UniIR doit suivre les instructions pour répondre à une requête hétérogène afin de récupérer un pool de candidats hétérogènes comprenant des millions de candidats dans diverses modalités.

<classe de durée= UniIR Teaser" style="largeur : 80 % ; largeur maximale : 100 % ;">

Contenu

  1. M-BEIR
  2. Entraînement
  3. Évaluation
  4. Zoo modèle
  5. Citations et contact

M-BEIR

Pour former et évaluer des modèles de récupération multimodaux universels, nous construisons un benchmark de récupération à grande échelle nommé M-BEIR (Multimodal BEnchmark for Instructed Retrieval).

Téléchargement de M-BEIR

Nous fournissons l'ensemble de données M-BEIR dans le ? Ensemble de données . Veuillez suivre les instructions fournies sur la page HF pour télécharger l'ensemble de données et préparer les données pour la formation et l'évaluation. Vous devez configurer GiT LFS et cloner directement le dépôt : 

 git clone https://huggingface.co/datasets/TIGER-Lab/M-BEIR

Des Modèles UniIR

Nous fournissons la base de code pour la formation et l'évaluation des modèles UniIR CLIP-ScoreFusion, CLIP-FeatureFusion, BLIP-ScoreFusion et BLIP-FeatureFusion.

Environnement

Préparez la base de code du projet UniIR et de l'environnement Conda à l'aide des commandes suivantes :

UniIR cd src/models/ conda env create -f UniIR _env.yml">
git clone https://github.com/TIGER-AI-Lab/UniIR
cd UniIR

cd src/models/
conda env create -f UniIR _env.yml

Entraînement

Pour entraîner les modèles UniIR à partir de points de contrôle CLIP et BLIP pré-entraînés, veuillez suivre les instructions ci-dessous. Les scripts téléchargeront automatiquement les points de contrôle CLIP et BLIP pré-entraînés.

1. Téléchargez le benchmark M-BEIR

Veuillez télécharger le benchmark M-BEIR en suivant les instructions de la section M-BEIR .

2. Scénarios

Pour entraîner UniIR CLIP_SF Large avec la configuration par défaut : 

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/train/inbatch/

Modifiez inbatch.yaml pour le réglage des hyperparamètres et run_inbatch.sh pour votre propre environnement et vos chemins.

Note:

  1. Modifiez le UniIR _DIR dans run_inbatch.sh vers le répertoire dans lequel vous souhaitez stocker les points de contrôle.
  2. Modifiez le MBEIR_DATA_DIR dans run_inbatch.sh vers le répertoire dans lequel vous stockez le benchmark M-BEIR.
  3. Modifiez le SRC_DIR dans run_inbatch.sh vers le répertoire où vous stockez la base de code du projet UniIR (ce dépôt).
  4. Par défaut, les modèles UniIR sont formés sur M-BEIR avec des négatifs en lot, et les négatifs durs fournis par les ensembles de données d'origine ne sont pas utilisés.
  5. Nous avons utilisé wandb pour enregistrer le processus de formation. Veuillez vous assurer qu'un environnement .env avec WANDB_API_KEY , WANDB_PROJECT et WANDB_ENTITY est défini.

Vous pouvez ensuite exécuter la commande suivante pour entraîner le modèle UniIR CLIP_SF Large. 

bash run_inbatch.sh

Pour entraîner UniIR BLIP_FF Large avec la configuration par défaut : 

 cd src/models/ UniIR _blip/blip_featurefusion/configs_scripts/large/train/inbatch/

Modifiez inbatch.yaml pour le réglage des hyperparamètres et run_inbatch.sh pour votre propre environnement et vos chemins. 

bash run_inbatch.sh

De même, vous pouvez entraîner les modèles UniIR CLIP_FF et BLIP_SF en modifiant les scripts correspondants.

Évaluation

Nous fournissons le pipeline d'évaluation des modèles UniIR sur le benchmark M-BEIR.

1. Environnement

Veuillez créer un environnement pour la bibliothèque FAISS : 

 # From the root directory of the project
cd src/common/
conda env create -f faiss_env.yml

2. Téléchargez le benchmark M-BEIR

Veuillez télécharger le benchmark M-BEIR en suivant les instructions de la section M-BEIR .

3. Téléchargez les points de contrôle UniIR

Vous pouvez entraîner les modèles UniIR à partir de zéro ou télécharger les points de contrôle UniIR pré-entraînés en suivant les instructions de la section Model Zoo .

4. Scénarios

Pour évaluer UniIR CLIP_SF Large avec la configuration par défaut : 

 cd src/models/ UniIR _clip/clip_scorefusion/configs_scripts/large/eval/inbatch/

Modifiez embed.yaml , index.yaml , retrieval.yaml et run_eval_pipeline_inbatch.sh pour votre propre environnement, chemins et paramètres d'évaluation.

Note:

  1. Si vous téléchargez notre modèle UniIR pré-entraîné, veuillez modifier le UniIR _DIR dans run_eval_pipeline_inbatch.sh vers le répertoire dans lequel vous souhaitez stocker les fichiers volumineux, y compris les points de contrôle, les intégrations, les index et les résultats de récupération. Ensuite, vous pouvez placer le fichier clip_sf_large.pth dans le chemin suivant : 
     $ UniIR _DIR /checkpoint/CLIP_SF/Large/Instruct/InBatch/clip_sf_large.pth
    Il s'agit du chemin par défaut spécifié par model.ckpt_config dans le fichier embed.yaml .
  2. Modifiez le MBEIR_DATA_DIR dans run_eval_pipeline_inbatch.sh vers le répertoire dans lequel vous stockez le benchmark M-BEIR.
  3. Modifiez le SRC_DIR dans run_eval_pipeline_inbatch.sh vers le répertoire où vous stockez la base de code du projet UniIR (ce dépôt).

La configuration par défaut évaluera le modèle UniIR CLIP_SF Large sur les benchmarks M-BEIR (pool de candidats hétérogènes de 5,6 millions) et M-BEIR_local (pool de candidats homogènes). UNION dans les fichiers yaml fait référence au M-BEIR (pool de candidats hétérogènes de 5,6 millions). Vous pouvez suivre les commentaires dans les fichiers yaml et modifier les configurations pour évaluer le modèle sur le benchmark M-BEIR_local uniquement. 

bash run_eval_pipeline_inbatch.sh

embed , index , logger et retrieval_results seront enregistrés dans le répertoire $ UniIR _DIR .

Pour évaluer UniIR BLIP_FF Large avec la configuration par défaut : 

 cd src/models/unii_blip/blip_featurefusion/configs_scripts/large/eval/inbatch/

De même, si vous téléchargez notre modèle UniIR pré-entraîné, vous pouvez placer le fichier blip_ff_large.pth dans le chemin suivant : 

 $ UniIR _DIR /checkpoint/BLIP_FF/Large/Instruct/InBatch/blip_ff_large.pth

La configuration par défaut évaluera le modèle UniIR BLIP_FF Large sur les benchmarks M-BEIR et M-BEIR_local. 

bash run_eval_pipeline_inbatch.sh

Évaluation UniRAG

L'évaluation UniRAG est très similaire à l'évaluation par défaut avec les différences suivantes :

  • Il stocke les fichiers jsonl contenant les requêtes et leurs candidats récupérés sous retrieval_results . Ceci est utile lorsque les résultats récupérés seront utilisés dans des applications en aval telles que RAG.
  • Lorsque retrieve_image_text_pairs dans retrieval.yaml est défini sur True , un candidat complémentaire sera récupéré pour chaque candidat avec une modalité text ou image uniquement. Avec ce paramétrage, le candidat et son complément auront toujours une modalité image, text . Les candidats complémentaires sont récupérés en utilisant les candidats originaux comme requêtes (par exemple, texte de requête -> image candidate -> texte candidat complémentaire ).
  • Pour exécuter des évaluations en mode UniRAG, suivez les instructions fournies ci-dessus en remplaçant respectivement InBatch et inbatch par UniRAG et unirag .

Vous pouvez entraîner et évaluer les modèles UniIR CLIP_FF et BLIP_SF en modifiant les scripts correspondants.

Zoo modèle

Nous fournissons les points de contrôle du modèle UniIR dans le ? Points de contrôle . Vous pouvez utiliser directement les points de contrôle pour les tâches de récupération ou affiner les modèles pour vos propres tâches de récupération.

Points de contrôle disponibles

Nom du modèle Version Taille du modèle Lien du modèle
UniIR (CLIP-SF) Grand 5,13 Go Lien de téléchargement
UniIR (BLIP-FF) Grand 7,49 Go Lien de téléchargement

Vous pouvez les télécharger par 

 git clone https://huggingface.co/TIGER-Lab/UniIR

Citation et contact

BibTeX :

UniIR, title={ UniIR : Training and benchmarking universal multimodal information retrievers}, author={Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu}, journal={arXiv preprint arXiv:2311.17136}, year={2023} }">
 @article { wei2023 UniIR ,
  title = { UniIR : Training and benchmarking universal multimodal information retrievers } ,
  author = { Wei, Cong and Chen, Yang and Chen, Haonan and Hu, Hexiang and Zhang, Ge and Fu, Jie and Ritter, Alan and Chen, Wenhu } ,
  journal = { arXiv preprint arXiv:2311.17136 } ,
  year = { 2023 }
}
Développer
Informations supplémentaires
Applications connexes
Recommandé pour vous
Actualités connexes Tout