Image captioning ViT

Subtítulos de imágenes utilizando transformadores de visión

Ejemplo:

Título generado: un caballo negro corriendo por un campo de hierba

Este repositorio contiene un proyecto que explora la tarea de subtitular imágenes utilizando Vision Transformers (ViTs). El proyecto tiene como objetivo generar leyendas descriptivas para imágenes combinando el poder de Transformers y la visión por computadora. Aprovecha modelos ViT previamente entrenados de última generación y emplea técnicas como mecanismos de atención y modelado del lenguaje para generar subtítulos precisos y contextualmente relevantes.

Enlace del artículo: https://www.analyticsvidhya.com/blog/2023/06/vision-transformers/

Tabla de contenido

• Introducción
• Conjunto de datos
• Instalación
• Uso
• Métodos utilizados
• Tecnologías
• Contribuyendo
• Licencia

Introducción

Los subtítulos de imágenes son un problema desafiante que implica generar descripciones de imágenes similares a las humanas. Al utilizar Vision Transformers, este proyecto tiene como objetivo lograr una mejor comprensión de la imagen y generación de subtítulos. La combinación de visión por computadora y Transformers ha mostrado resultados prometedores en diversas tareas de procesamiento del lenguaje natural, y este proyecto explora su aplicación a los subtítulos de imágenes.

Puede encontrar más detalles sobre cómo utilicé Litserve para crear un servidor de subtítulos de imágenes aquí: Litserve.

Conjunto de datos

El conjunto de datos utilizado para este proyecto consta de datos de imagen y título emparejados. Cada imagen está asociada con uno o más títulos descriptivos. El conjunto de datos no está incluido en este repositorio, pero puede encontrar conjuntos de datos de subtítulos de imágenes populares, como MS COCO, Flickr30k o Conceptual Captions, para experimentar.

Sintonia FINA

Puede encontrar el cuaderno sobre el ajuste fino de su propio conjunto de datos en el directorio de ajuste fino: aquí

Instalación

Para utilizar el código de este repositorio, siga estos pasos:

1. Clona el repositorio: git clone https://github.com/your-username/image-captioning-vision-transformers.git
2. Navegue al directorio del proyecto: cd image-captioning-vision-transformers
3. Instale las dependencias requeridas: pip install -r requirements.txt

Uso

1. Asegúrese de haber instalado las dependencias necesarias.
2. Prepare su conjunto de datos en el formato apropiado y guárdelo en el directorio del proyecto.
3. Modifique el código para cargar y preprocesar su conjunto de datos.
4. Entrene el modelo Vision Transformer utilizando los scripts proporcionados o adáptelos a sus requisitos específicos.
5. Evalúe el modelo entrenado y genere leyendas para las imágenes de prueba.
6. Explore y experimente con diferentes configuraciones de modelo e hiperparámetros para mejorar el rendimiento.

Métodos utilizados

En este proyecto se emplean los siguientes métodos y técnicas:

• Transformadores de visión (ViT)
• Mecanismos de atención
• Modelado de lenguaje
• Transferir aprendizaje
• Métricas de evaluación para subtítulos de imágenes (p. ej., BLEU, METEOR, CIDEr)

Tecnologías

El proyecto está implementado en Python y utiliza las siguientes bibliotecas:

• PyTorch
• Transformadores
• AntorchaVisión
• NumPy
• NLTK
• Matplotlib

Contribuyendo

Las contribuciones a este proyecto son bienvenidas. Para contribuir, siga estos pasos:

1. Bifurca el repositorio.
2. Crea una nueva rama: git checkout -b feature/your-feature
3. Realice sus cambios y confírmelos: git commit -m 'Add some feature'
4. Empujar a la rama: git push origin feature/your-feature
5. Envíe una solicitud de extracción.

Licencia

Este proyecto está bajo la licencia MIT.

Enlace al blog: https://www.analyticsvidhya.com/blog/2023/06/vision-transformers/

Síguenos para más proyectos interesantes.