image to text a stroeyteller model

story.teller.vid.-.Hecho.con.Clipchamp.mp4

Narrador de historias

Story Teller es una aplicación Streamlit que genera una historia basada en una imagen de entrada. Utiliza la biblioteca Hugging Face Transformers y el modelo de subtítulos de imágenes BLIP de Salesforce.

Tabla de contenido

• Instalación
• Uso
• Ficha API
• Modelos
• Ejecutando la aplicación
• Contribuyendo

Instalación

Para instalar las dependencias necesarias, ejecute el siguiente comando:

pip install -r requirements.txt

Asegúrese de tener las dependencias requeridas especificadas en el archivo requirements.txt .

Uso

Para utilizar la aplicación, siga los pasos a continuación:

1. Ejecute la aplicación Streamlit ejecutando el siguiente comando:

   streamlit run app.py

2. Acceda a la aplicación a través de la URL proporcionada en la consola.

3. La interfaz de la aplicación aparecerá con el título "Story Teller" y una instrucción para "Subir una imagen y obtener una historia".

4. Haga clic en el botón "Cargue su archivo aquí..." para seleccionar un archivo de imagen (formatos admitidos: PNG, JPEG, JPG).

5. Una vez cargada la imagen, se mostrará en la página.

6. La aplicación procesará la imagen cargada utilizando el modelo de subtítulos de imágenes BLIP de Salesforce y generará una descripción textual de la imagen.

7. Luego, el texto generado se pasará a la API de Hugging Face para generar una historia basada en el texto.

8. La aplicación mostrará la historia generada en la página.

9. Si se produce algún error durante el proceso, se mostrará un mensaje de error en la página y podrá volver a intentarlo.

Ficha API

La aplicación requiere un token API de Hugging Face para acceder al modelo de generación de historias. Para obtener un token API, siga estos pasos:

1. Regístrese o inicie sesión en su cuenta de Hugging Face en https://huggingface.co/.

2. Una vez que haya iniciado sesión, vaya a la configuración de su cuenta y navegue hasta la sección "Token API".

3. Genere un nuevo token de API, cópielo y reemplace el marcador de posición "your api key" en la clase Models de text_model.py con su token de API real.

Modelos

La clase Models en text_model.py encapsula la funcionalidad de la aplicación. Contiene los siguientes métodos:

• __init__() :

  • Inicializa la clase y establece el token de API y el ID del modelo.

• img2text(url) :

  • Toma la URL de una imagen como entrada y utiliza el modelo de subtítulos de imágenes BLIP de Salesforce para convertir la imagen en texto. Devuelve el texto generado.

• story(payload) :

  • Toma una carga útil como entrada, que contiene el texto generado, y envía una solicitud a la API de Hugging Face para generar una historia basada en el texto. Devuelve la historia generada.

• chain(payload, num=0) :

  • Este método actúa como una función recursiva que genera una cadena de historias. Toma una carga útil como entrada, que inicialmente contiene el texto generado. Llama recursivamente al método story() y actualiza la carga útil hasta que se genera la cantidad deseada de historias (50 en este caso). La barra de progreso también se actualiza en consecuencia.

Ejecutando la aplicación

Si tiene curiosidad y quiere probar los modelos backend, ejecute el siguiente comando:

python text_model.py

Asegúrese de tener instaladas las dependencias requeridas, como se menciona en la sección de instalación.

Contribuyendo

¡Las contribuciones a la aplicación Story Teller son bienvenidas! Si encuentra algún problema o tiene sugerencias para mejorar, no dude en abrir un problema o enviar una solicitud de extracción.