GenAI Image to Voice Description

Descripción de imagen a voz de GenAI

Convierta imágenes en historias descriptivas con narración de voz utilizando modelos de IA generativa.

Descripción general

Este proyecto utiliza modelos de IA generativa para convertir imágenes en historias descriptivas con narración de voz. Emplea técnicas de visión por computadora y procesamiento de lenguaje natural de última generación para generar narrativas convincentes basadas en imágenes cargadas. Luego, las historias generadas se resumen y narran en formato de audio, brindando a los usuarios una experiencia narrativa inmersiva.

Características

• Conversión de imagen a texto : utiliza el modelo blip para extraer texto de las imágenes cargadas.
• Generación de historias : genera historias cortas a partir del texto extraído utilizando modelos GPT (Transformador generativo preentrenado).
• Conversión de texto a voz : convierte historias generadas en formato de audio utilizando el modelo de texto a voz ESPnet de HuggingFace.
• Resumen : Resume las historias generadas para mayor brevedad y claridad.
• Aplicación web Streamlit : proporciona una interfaz fácil de usar para cargar imágenes y escuchar historias generadas.

Uso

1. Sube una imagen.
2. Espere a que el modelo procese la imagen y genere una historia.
3. Escuche la historia generada en formato de audio.
4. Opcionalmente, vea la versión resumida de la historia.

Requisitos

• Pitón 3.6+
• iluminado
• Transformadores
• LangChain
• API de HuggingFace
• ESPnet

Instalación

1. Clonar el repositorio:

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Instalar dependencias:

   pip install -r requirements.txt

Cómo correr

Ejecute el siguiente comando:

streamlit run app.py