image to text a stroeyteller model

story.teller.vid.-.Made.with.Clipchamp.mp4

Geschichtenerzähler

Story Teller ist eine Streamlit-Anwendung, die eine Geschichte basierend auf einem Eingabebild generiert. Es nutzt die Hugging Face Transformers-Bibliothek und das Salesforce BLIP Image Captioning-Modell.

Inhaltsverzeichnis

• Installation
• Verwendung
• API-Token
• Modelle
• Ausführen der Anwendung
• Mitwirken

Installation

Führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren:

pip install -r requirements.txt

Stellen Sie sicher, dass die erforderlichen Abhängigkeiten in der Datei requirements.txt angegeben sind.

Verwendung

Um die Anwendung zu verwenden, führen Sie die folgenden Schritte aus:

1. Führen Sie die Streamlit-Anwendung aus, indem Sie den folgenden Befehl ausführen:

   streamlit run app.py

2. Greifen Sie über die bereitgestellte URL in der Konsole auf die Anwendung zu.

3. Die Anwendungsoberfläche wird mit dem Titel „Story Teller“ und der Anweisung „Bild hochladen und eine Geschichte abrufen“ angezeigt.

4. Klicken Sie auf die Schaltfläche „Datei hier hochladen …“, um eine Bilddatei auszuwählen (unterstützte Formate: PNG, JPEG, JPG).

5. Sobald das Bild hochgeladen ist, wird es auf der Seite angezeigt.

6. Die Anwendung verarbeitet das hochgeladene Bild mithilfe des Salesforce BLIP Image Captioning-Modells und generiert eine Textbeschreibung des Bildes.

7. Der generierte Text wird dann an die Hugging Face API übergeben, um eine Geschichte basierend auf dem Text zu generieren.

8. Die Anwendung zeigt die generierte Story auf der Seite an.

9. Sollten während des Vorgangs Fehler auftreten, wird auf der Seite eine Fehlermeldung angezeigt und Sie können es erneut versuchen.

API-Token

Die Anwendung benötigt ein API-Token von Hugging Face, um auf das Story-Generierungsmodell zuzugreifen. Um ein API-Token zu erhalten, führen Sie die folgenden Schritte aus:

1. Registrieren Sie sich oder melden Sie sich bei Ihrem Hugging Face-Konto unter https://huggingface.co/ an.

2. Gehen Sie nach der Anmeldung zu Ihren Kontoeinstellungen und navigieren Sie zum Abschnitt „API-Token“.

3. Generieren Sie ein neues API-Token, kopieren Sie es und ersetzen Sie den Platzhalter "your api key" in der Models -Klasse von text_model.py durch Ihr tatsächliches API-Token.

Modelle

Die Models -Klasse in text_model.py kapselt die Funktionalität der Anwendung. Es enthält die folgenden Methoden:

• __init__() :

  • Initialisiert die Klasse und legt das API-Token und die Modell-ID fest.

• img2text(url) :

  • Nimmt eine Bild-URL als Eingabe und verwendet das Salesforce BLIP-Bildunterschriftenmodell, um das Bild in Text umzuwandeln. Es gibt den generierten Text zurück.

• story(payload) :

  • Nimmt eine Nutzlast als Eingabe, die den generierten Text enthält, und sendet eine Anfrage an die Hugging Face API, um eine Story basierend auf dem Text zu generieren. Es gibt die generierte Geschichte zurück.

• chain(payload, num=0) :

  • Diese Methode fungiert als rekursive Funktion, die eine Kette von Geschichten generiert. Als Eingabe erfolgt eine Payload, die zunächst den generierten Text enthält. Es ruft rekursiv die Methode story() auf und aktualisiert die Nutzlast, bis die gewünschte Anzahl an Storys (in diesem Fall 50) generiert ist. Auch der Fortschrittsbalken wird entsprechend aktualisiert.

Ausführen der Anwendung

Wenn Sie neugierig sind und die Backend-Modelle einfach ausprobieren möchten, führen Sie den folgenden Befehl aus:

python text_model.py

Stellen Sie sicher, dass Sie die erforderlichen Abhängigkeiten installiert haben, wie im Installationsabschnitt erwähnt.

Mitwirken

Beiträge zur Story Teller-Anwendung sind willkommen! Wenn Sie Probleme feststellen oder Verbesserungsvorschläge haben, können Sie gerne ein Problem eröffnen oder eine Pull-Anfrage einreichen.