Image captioning ViT

Sous-titrage d'images à l'aide de transformateurs de vision

Exemple:

Légende générée : un cheval noir courant dans un champ herbeux

Ce référentiel contient un projet qui explore la tâche de sous-titrage d'images à l'aide de Vision Transformers (ViTs). Le projet vise à générer des légendes descriptives pour les images en combinant la puissance des Transformers et de la vision par ordinateur. Il exploite des modèles ViT pré-entraînés de pointe et utilise des techniques telles que les mécanismes d'attention et la modélisation du langage pour générer des sous-titres précis et contextuellement pertinents.

Lien de l'article : https://www.analyticsvidhya.com/blog/2023/06/vision-transformers/

Table des matières

• Introduction
• Ensemble de données
• Installation
• Usage
• Méthodes utilisées
• Technologies
• Contribuer
• Licence

Introduction

Le sous-titrage d’images est un problème difficile qui implique de générer des descriptions d’images de type humain. En utilisant Vision Transformers, ce projet vise à améliorer la compréhension des images et la génération de légendes. La combinaison de la vision par ordinateur et de Transformers a donné des résultats prometteurs dans diverses tâches de traitement du langage naturel, et ce projet explore leur application au sous-titrage d'images.

Vous pouvez trouver plus de détails sur la façon dont j'ai utilisé Litserve pour gérer la création d'un serveur de sous-titrage d'images ici : Litserve .

Ensemble de données

L'ensemble de données utilisé pour ce projet est constitué de données appariées image-légende. Chaque image est associée à une ou plusieurs légendes descriptives. L'ensemble de données n'est pas inclus dans ce référentiel, mais vous pouvez trouver des ensembles de données de sous-titres d'images populaires tels que MS COCO, Flickr30k ou Conceptual Captions à des fins d'expérimentation.

Réglage fin

Vous pouvez trouver le notebook sur le réglage fin de votre propre ensemble de données dans le répertoire de réglage fin : ici

Installation

Pour utiliser le code dans ce référentiel, procédez comme suit :

1. Clonez le référentiel : git clone https://github.com/your-username/image-captioning-vision-transformers.git
2. Accédez au répertoire du projet : cd image-captioning-vision-transformers
3. Installez les dépendances requises : pip install -r requirements.txt

Usage

1. Assurez-vous d'avoir installé les dépendances requises.
2. Préparez votre ensemble de données au format approprié et enregistrez-le dans le répertoire du projet.
3. Modifiez le code pour charger et prétraiter votre ensemble de données.
4. Entraînez le modèle Vision Transformer à l'aide des scripts fournis ou adaptez-les à vos besoins spécifiques.
5. Évaluez le modèle formé et générez des légendes pour les images de test.
6. Explorez et expérimentez différentes configurations de modèles et hyperparamètres pour améliorer les performances.

Méthodes utilisées

Les méthodes et techniques suivantes sont utilisées dans ce projet :

• Transformateurs de vision (ViT)
• Mécanismes d'attention
• Modélisation du langage
• Transférer l'apprentissage
• Métriques d'évaluation pour le sous-titrage d'images (par exemple, BLEU, METEOR, CIDEr)

Technologies

Le projet est implémenté en Python et utilise les bibliothèques suivantes :

• PyTorch
• Transformateurs
• TorchVision
• NumPy
• NLTK
• Matplotlib

Contribuer

Les contributions à ce projet sont les bienvenues. Pour contribuer, suivez ces étapes :

1. Forkez le référentiel.
2. Créez une nouvelle branche : git checkout -b feature/your-feature
3. Apportez vos modifications et validez-les : git commit -m 'Add some feature'
4. Push vers la branche : git push origin feature/your-feature
5. Soumettez une pull request.

Licence

Ce projet est sous licence MIT.

Lien vers le blog : https://www.analyticsvidhya.com/blog/2023/06/vision-transformers/

Suivez pour des projets plus intéressants