image to text a stroeyteller model

story.teller.vid.-.Feito.com.Clipchamp.mp4

Contador de histórias

Story Teller é um aplicativo Streamlit que gera uma história baseada em uma imagem de entrada. Ele utiliza a biblioteca Hugging Face Transformers e o modelo Salesforce BLIP Image Captioning.

Índice

• Instalação
• Uso
• Token de API
• Modelos
• Executando o aplicativo
• Contribuindo

Instalação

Para instalar as dependências necessárias, execute o seguinte comando:

pip install -r requirements.txt

Certifique-se de ter as dependências necessárias especificadas no arquivo requirements.txt .

Uso

Para usar o aplicativo, siga as etapas abaixo:

1. Execute o aplicativo Streamlit executando o seguinte comando:

   streamlit run app.py

2. Acesse o aplicativo por meio da URL fornecida no console.

3. A interface do aplicativo aparecerá com o título “Story Teller” e uma instrução para “Carregar uma imagem e obter uma história”.

4. Clique no botão "Carregue seu arquivo aqui..." para selecionar um arquivo de imagem (formatos suportados: PNG, JPEG, JPG).

5. Assim que a imagem for carregada, ela será exibida na página.

6. O aplicativo processará a imagem carregada usando o modelo Salesforce BLIP Image Captioning e gerará uma descrição textual da imagem.

7. O texto gerado será então passado para a API Hugging Face para gerar uma história baseada no texto.

8. O aplicativo exibirá a história gerada na página.

9. Caso ocorra algum erro durante o processo, uma mensagem de erro será mostrada na página e você poderá tentar novamente.

Token de API

O aplicativo requer um token API do Hugging Face para acessar o modelo de geração de histórias. Para obter um token de API, siga estas etapas:

1. Cadastre-se ou faça login em sua conta Hugging Face em https://huggingface.co/.

2. Uma vez logado, acesse as configurações da sua conta e navegue até a seção "token API".

3. Gere um novo token de API, copie-o e substitua o espaço reservado "your api key" na classe Models de text_model.py pelo seu token de API real.

Modelos

A classe Models em text_model.py encapsula a funcionalidade do aplicativo. Ele contém os seguintes métodos:

• __init__() :

  • Inicializa a classe e define o token da API e o ID do modelo.

• img2text(url) :

  • Pega um URL de imagem como entrada e usa o modelo Salesforce BLIP Image Captioning para converter a imagem em texto. Ele retorna o texto gerado.

• story(payload) :

  • Pega como entrada uma carga útil, que contém o texto gerado, e envia uma solicitação à API Hugging Face para gerar uma história baseada no texto. Ele retorna a história gerada.

• chain(payload, num=0) :

  • Este método atua como uma função recursiva que gera uma cadeia de histórias. Leva como entrada uma carga útil, que inicialmente contém o texto gerado. Ele chama recursivamente o método story() e atualiza a carga até que o número desejado de histórias (50 neste caso) seja gerado. A barra de progresso também é atualizada de acordo.

Executando o aplicativo

Se você estiver curioso e quiser apenas experimentar os modelos de backend, execute o seguinte comando:

python text_model.py

Certifique-se de ter as dependências necessárias instaladas, conforme mencionado na seção de instalação.

Contribuindo

Contribuições para o aplicativo Story Teller são bem-vindas! Se você encontrar algum problema ou tiver sugestões de melhorias, sinta-se à vontade para abrir um problema ou enviar uma solicitação pull.