GenAI Image to Voice Description

GenAI Image to Voice-Beschreibung

Wandeln Sie Bilder mithilfe generativer KI-Modelle in beschreibende Geschichten mit Sprachkommentar um.

Überblick

Dieses Projekt nutzt generative KI-Modelle, um Bilder in beschreibende Geschichten mit Sprachkommentar umzuwandeln. Es nutzt modernste Techniken zur Verarbeitung natürlicher Sprache und Computer-Vision, um überzeugende Erzählungen auf der Grundlage hochgeladener Bilder zu generieren. Die generierten Geschichten werden dann im Audioformat zusammengefasst und erzählt, was den Benutzern ein immersives Storytelling-Erlebnis bietet.

Merkmale

• Bild-in-Text-Konvertierung : Verwendet das Blip-Modell, um Text aus hochgeladenen Bildern zu extrahieren.
• Story-Generierung : Erzeugt Kurzgeschichten aus dem extrahierten Text mithilfe von GPT-Modellen (Generative Pre-trained Transformer).
• Text-zu-Sprache-Konvertierung : Konvertiert generierte Geschichten mithilfe des ESPnet-Text-zu-Sprache-Modells von HuggingFace in ein Audioformat.
• Zusammenfassung : Fasst die generierten Geschichten aus Gründen der Kürze und Klarheit zusammen.
• Streamlit Web App : Bietet eine benutzerfreundliche Oberfläche zum Hochladen von Bildern und zum Anhören generierter Geschichten.

Verwendung

1. Laden Sie ein Bild hoch.
2. Warten Sie, bis das Modell das Bild verarbeitet und eine Geschichte generiert.
3. Hören Sie sich die generierte Geschichte im Audioformat an.
4. Sehen Sie sich optional die zusammengefasste Version der Geschichte an.

Anforderungen

• Python 3.6+
• Streamlit
• Transformatoren
• LangChain
• HuggingFace-API
• ESPnet

Installation

1. Klonen Sie das Repository:

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Abhängigkeiten installieren:

   pip install -r requirements.txt

Wie man läuft

Führen Sie den folgenden Befehl aus:

streamlit run app.py