image to text a stroeyteller model

story.teller.vid.-.Réalisé.avec.Clipchamp.mp4

Conteur

Story Teller est une application Streamlit qui génère une histoire basée sur une image d'entrée. Il utilise la bibliothèque Hugging Face Transformers et le modèle de sous-titrage d'image Salesforce BLIP.

Table des matières

• Installation
• Usage
• Jeton API
• Modèles
• Exécution de l'application
• Contribuer

Installation

Pour installer les dépendances nécessaires, exécutez la commande suivante :

pip install -r requirements.txt

Assurez-vous que les dépendances requises sont spécifiées dans le fichier requirements.txt .

Usage

Pour utiliser l'application, suivez les étapes ci-dessous :

1. Exécutez l'application Streamlit en exécutant la commande suivante :

   streamlit run app.py

2. Accédez à l'application via l'URL fournie dans la console.

3. L'interface de l'application apparaîtra avec le titre « Story Teller » et une instruction pour « Télécharger une image et obtenir une histoire ».

4. Cliquez sur le bouton "Téléchargez votre fichier ici..." pour sélectionner un fichier image (formats pris en charge : PNG, JPEG, JPG).

5. Une fois l'image téléchargée, elle sera affichée sur la page.

6. L'application traitera l'image téléchargée à l'aide du modèle de sous-titrage d'image Salesforce BLIP et générera une description textuelle de l'image.

7. Le texte généré sera ensuite transmis à l'API Hugging Face pour générer une histoire basée sur le texte.

8. L'application affichera l'histoire générée sur la page.

9. Si des erreurs se produisent pendant le processus, un message d'erreur s'affichera sur la page et vous pourrez réessayer.

Jeton API

L'application nécessite un jeton API de Hugging Face pour accéder au modèle de génération d'histoire. Pour obtenir un jeton API, procédez comme suit :

1. Inscrivez-vous ou connectez-vous à votre compte Hugging Face sur https://huggingface.co/.

2. Une fois connecté, accédez aux paramètres de votre compte et accédez à la section « Jeton API ».

3. Générez un nouveau jeton API, copiez-le et remplacez l'espace réservé "your api key" dans la classe Models de text_model.py par votre jeton API réel.

Modèles

La classe Models dans text_model.py encapsule les fonctionnalités de l'application. Il contient les méthodes suivantes :

• __init__() :

  • Initialise la classe et définit le jeton API et l'ID de modèle.

• img2text(url) :

  • Prend une URL d'image en entrée et utilise le modèle de sous-titrage d'image Salesforce BLIP pour convertir l'image en texte. Il renvoie le texte généré.

• story(payload) :

  • Prend en entrée une charge utile, qui contient le texte généré, et envoie une requête à l'API Hugging Face pour générer une histoire basée sur le texte. Il renvoie l'histoire générée.

• chain(payload, num=0) :

  • Cette méthode agit comme une fonction récursive qui génère une chaîne d'histoires. Il prend en entrée une charge utile, qui contient initialement le texte généré. Il appelle récursivement la méthode story() et met à jour la charge utile jusqu'à ce que le nombre d'histoires souhaité (50 dans ce cas) soit généré. La barre de progression est également mise à jour en conséquence.

Exécution de l'application

Si vous êtes curieux et souhaitez simplement essayer les modèles backend, exécutez la commande suivante :

python text_model.py

Assurez-vous d'avoir installé les dépendances requises, comme mentionné dans la section d'installation.

Contribuer

Les contributions à l'application Story Teller sont les bienvenues ! Si vous rencontrez des problèmes ou avez des suggestions d'améliorations, n'hésitez pas à ouvrir un problème ou à soumettre une pull request.