Modality Integration Rate

Décryptage de l'alignement intermodal dans les grands modèles de langage de vision avec taux d'intégration des modalités

Ce référentiel fournit l'implémentation officielle PyTorch du document suivant :

Déchiffrer l'alignement intermodal dans les grands modèles de langage de vision avec taux d'intégration des modalités
Qidong Huang ^1,2 , Xiaoyi Dong ^2,3 , Pan Zhang ² , Yuhang Zang ² , Yuhang Cao ² , Jiaqi Wang ² , Dahua Lin ² , Weiming Zhang ¹ , Nenghai Yu ^1
1 Université des sciences et technologies de Chine, ² Laboratoire d'IA de Shanghai, ³ Université chinoise de Hong Kong

Nouvelles

[2024.10.10] Nous publions l'article sur ArXiv et HuggingFace !

[2024.10.10] Cette page de projet a été construite !

?faire

• Libérez le code de MIR
• Publier le code de formation et le code d'évaluation du MoCa
• Libérez les points de contrôle du MoCa

️ TL;DR

1. Pour MIR

Si vous souhaitez simplement utiliser MIR comme indicateur de pré-entraînement de votre propre modèle, aucun environnement supplémentaire n'est requis.

1. Assurez-vous que les packages tels que torch , numpy et scipy sont installés.
2. Remplacez le prétraitement et la génération du modèle dans mir.py par le code de votre propre modèle, nous affichons le code de LLaVA comme référence.
3. Spécifiez les arguments d'entrée et exécutez la commande :

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --text_data_path PATH/TO/TEXT/DATA --image_data_path PATH/TO/VISION/DATA --eval_num 100 --mode fast

Notez que base_llm n'est pas obligatoire si vous entraînez le LLM de base pendant la pré-formation et incluez son ckpt dans model_path .

Vous pouvez également ajuster les arguments au style d'initialisation de votre modèle.

2. Pour le MoCa

Si vous souhaitez simplement utiliser MoCa sur votre propre modèle, nous vous recommandons de suivre les étapes ci-dessous :

1. Copiez le code du module MoCa dans le code de modélisation de votre propre modèle et assurez-vous que MoCa est équipé par la couche de base LLM dans les fonctions d'initialisation et de transfert.
2. Assurez-vous que le prétraitement d'entrée peut calculer le modality_mask , veuillez vous référer à Line183-184, Line269-276 et Line373-382 dans llava/model/llava_arch.py ​​. Assurez-vous également que le modality_mask peut être livré avec succès dans la passe avant du modèle, par exemple en l'ajoutant comme paramètre formel de chaque fonction avant, comme Line70, Line88, Line96, Line106, Line127, Line137, Line145, Line157, Line166, Line174. -175 dans llava/model/language_model/llava_llama.py .
3. Vérifiez quelques détails pour prendre en charge l'utilisation de use_moca=True , tels que (il est recommandé de rechercher use_moca dans ce dépôt pour trouver les endroits qui doivent être révisés) : 1）Ajoutez-le dans la configuration du modèle (ici). 2) Ajoutez-le aux arguments de formation (ici). 3) Débloquez-le pendant l'entraînement (ici). 4) Assurez-vous que le point de contrôle est correctement enregistré (ici 1, ici 2, ici 3).
4. Ajoutez --use_moca lors de l'exécution de la commande de formation pour activer l'utilisation de MoCa.

Installation

Si vous souhaitez utiliser notre base de code (modifiée sur LLaVA) pour la reproduction, il vous est recommandé de créer un nouvel environnement en suivant les étapes ci-dessous. Les étapes suivantes sont uniquement répertoriées pour Linux. Si vous utilisez macOS ou Windows, veuillez vous référer à LLaVA.

1. Clonez ce référentiel et accédez au dossier Modality-Integration-Rate

 git clone https://github.com/shikiw/Modality-Integration-Rate.git
cd Modality-Integration-Rate

2. Installer le package

 conda create -n llava python=3.10 -y
conda activate llava
python -m pip install --upgrade pip  # enable PEP 660 support
python -m pip install -e .
python -m pip install -e transformers-4.37.2

3. Installer des packages supplémentaires pour les cas de formation

 pythom -m pip install -e ".[train]"
pythom -m pip install flash-attn --no-build-isolation

MIR

Pour reproduire l'implémentation MIR sur cette base de code, vous pouvez suivre ces étapes :

1. Spécifiez text_data_path et image_data_path pour le calcul MIR. Vous pouvez également les spécifier comme Line55-64 dans mir.py , en utilisant les images TextVQA val et le texte CNN/DM par défaut, c'est-à-dire
   1. Téléchargez TextVQA_0.5.1_val.json et les images et extrayez-les dans PATH/TO/VISION/DATA .
   2. Téléchargez les histoires de CNN et extrayez-les dans PATH/TO/TEXT/DATA .
   3. Modifiez la ligne 55-64 avec le chemin des données texte et le chemin des données image.
2. Si vous pré-entraînez uniquement MLP, exécutez cette commande :

 python mir.py --model_path PATH/TO/MODEL --base_llm PATH/TO/LLM --eval_num 100 --mode fast

3. Si vous pré-entraînez une partie de ViT ou de base LLM, exécutez cette commande :

 python mir.py --model_path PATH/TO/MODEL --eval_num 100 --mode fast

MoCa

Notre base de code prend en charge --use_moca pour activer l'implémentation de MoCa. Consultez scripts/v1_5/pre_sft_moca.sh pour plus de détails.

Modèle	Taille	Calendrier	Moyenne	MMStar	MME	MMB	MMB-CN	SEED-IMG	TexteVQA	MM-Vet	PAPE	GQA
LLaVA-v1.5	7B	full_ft-1e	59.1	30.3	1510.7	64,3	58.3	66.1	58.2	31.1	85,9	62,0
+MoCa	7B	full_ft-1e	60,6	36,5	1481.0	66,8	60,0	67,0	58,7	32.2	86,9	62,8

Les points de contrôle pré-entraînés et affinés sont libérés.

Former

Cette base de code est basée sur LLaVA et ShareGPT4V, où nous introduisons quelques nouvelles fonctionnalités et prend désormais en charge les entrées suivantes dans le script de lancement :

1. --tune_vision_tower et --tune_vit_from_layer
2. --tune_language_model et --tune_llm_utill_layer
3. --tune_entire_model
4. --data_scale
5. --use_moca et --moca_std

Quelques cas pour référence :

1. Pour pré-entraîner le modèle avec l'échelle de données personnalisée (par exemple, 200 000) :

 sh scripts/v1_5/pre_data_scale.sh

2. Pour pré-entraîner le modèle (déverrouiller la couche 13-24 de ViT et la couche 1-16 du LLM de base) et SFT (déverrouiller l'intégralité du LLM par défaut) :

 sh scripts/v1_5/pre_unlock_vit-12_llm-16_sft.sh

3. Pour pré-entraîner le modèle (déverrouiller la couche 13-24 de ViT et l'intégralité du LLM de base) et SFT (déverrouiller l'intégralité du LLM par défaut) :

 sh scripts/v1_5/pre_unlock_vit-12_llm-all_sft.sh

4. Pour appliquer le MoCa en formation :

 sh scripts/v1_5/pre_sft_moca.sh

Évaluation

Nous suivons l'évaluation originale dans LLaVA pour la plupart des benchmarks. Pour MMStar, nous utilisons VLMEvalKit.

Voir Évaluation.md.

Reconnaissance

Ce dépôt est basé sur la base de code de LLaVA et ShareGPT4V. Merci pour leurs travaux impressionnants!

Citation

Si vous trouvez ce travail utile pour votre recherche, veuillez citer notre article :

 @article{huang2024deciphering,
  title={Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate},
  author={Huang, Qidong and Dong, Xiaoyi and Zhang, Pan and Zang, Yuhang and Cao, Yuhang and Wang, Jiaqi and Lin, Dahua and Zhang, Weiming and Yu, Nenghai},
  journal={arXiv preprint arXiv:2410.07167},
  year={2024}
}