GenAI Image to Voice Description

Descrição de imagem para voz GenAI

Converta imagens em histórias descritivas com narração por voz usando modelos de IA generativa.

Visão geral

Este projeto utiliza modelos generativos de IA para converter imagens em histórias descritivas com narração por voz. Ele emprega processamento de linguagem natural de última geração e técnicas de visão computacional para gerar narrativas atraentes baseadas em imagens enviadas. As histórias geradas são então resumidas e narradas em formato de áudio, proporcionando aos usuários uma experiência envolvente de contar histórias.

Características

• Conversão de imagem em texto : utiliza o modelo blip para extrair texto de imagens carregadas.
• Geração de histórias : gera contos a partir do texto extraído usando modelos GPT (Generative Pre-trained Transformer).
• Conversão de texto para fala : converte histórias geradas em formato de áudio usando o modelo de texto para fala ESPnet do HuggingFace.
• Resumo : Resume as histórias geradas para maior brevidade e clareza.
• Streamlit Web App : fornece uma interface amigável para fazer upload de imagens e ouvir histórias geradas.

Uso

1. Carregue uma imagem.
2. Aguarde o modelo processar a imagem e gerar uma história.
3. Ouça a história gerada em formato de áudio.
4. Opcionalmente, veja a versão resumida da história.

Requisitos

• Python 3.6+
• Streamlit
• Transformadores
• LangChain
• API HuggingFace
• ESPNet

Instalação

1. Clone o repositório:

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Instale dependências:

   pip install -r requirements.txt

Como correr

Execute o seguinte comando:

streamlit run app.py