GenAI Image to Voice Description

Image GenAI à la description vocale

Convertissez des images en histoires descriptives avec narration vocale à l'aide de modèles d'IA générative.

Aperçu

Ce projet utilise des modèles d'IA générative pour convertir des images en histoires descriptives avec narration vocale. Il utilise des techniques de pointe de traitement du langage naturel et de vision par ordinateur pour générer des récits convaincants basés sur des images téléchargées. Les histoires générées sont ensuite résumées et racontées au format audio, offrant aux utilisateurs une expérience de narration immersive.

Caractéristiques

• Conversion image en texte : utilise le modèle blip pour extraire le texte des images téléchargées.
• Génération d'histoires : génère des histoires courtes à partir du texte extrait à l'aide de modèles GPT (Generative Pre-trained Transformer).
• Conversion de synthèse vocale : convertit les histoires générées au format audio à l'aide du modèle de synthèse vocale ESPnet de HuggingFace.
• Récapitulatif : résume les histoires générées par souci de concision et de clarté.
• Streamlit Web App : Fournit une interface conviviale pour télécharger des images et écouter des histoires générées.

Usage

1. Téléchargez une image.
2. Attendez que le modèle traite l'image et génère une histoire.
3. Écoutez l'histoire générée au format audio.
4. Vous pouvez éventuellement consulter la version résumée de l'histoire.

Exigences

• Python3.6+
• Rationalisé
• Transformateurs
• LangChaîne
• API HuggingFace
• ESPnet

Installation

1. Clonez le dépôt :

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Installer les dépendances :

   pip install -r requirements.txt

Comment courir

Exécutez la commande suivante :

streamlit run app.py