image to text a stroeyteller model

история.teller.vid.-.Сделано.с.Clipchamp.mp4

Рассказчик

Story Teller — это приложение Streamlit, которое генерирует историю на основе входного изображения. Он использует библиотеку Hugging Face Transformers и модель подписей к изображениям Salesforce BLIP.

Оглавление

• Установка
• Использование
• API-токен
• Модели
• Запуск приложения
• Содействие

Установка

Чтобы установить необходимые зависимости, выполните следующую команду:

pip install -r requirements.txt

Убедитесь, что у вас есть необходимые зависимости, указанные в файле requirements.txt .

Использование

Чтобы использовать приложение, выполните следующие действия:

1. Запустите приложение Streamlit, выполнив следующую команду:

   streamlit run app.py

2. Получите доступ к приложению через предоставленный URL-адрес в консоли.

3. Появится интерфейс приложения с заголовком «Рассказчик историй» и инструкцией «Загрузить изображение и получить историю».

4. Нажмите кнопку «Загрузить файл сюда...», чтобы выбрать файл изображения (поддерживаемые форматы: PNG, JPEG, JPG).

5. Как только изображение будет загружено, оно отобразится на странице.

6. Приложение обработает загруженное изображение с использованием модели подписей к изображениям Salesforce BLIP и сгенерирует текстовое описание изображения.

7. Сгенерированный текст затем будет передан в API Hugging Face для создания истории на основе текста.

8. Приложение отобразит сгенерированную историю на странице.

9. Если во время процесса возникнут какие-либо ошибки, на странице отобразится сообщение об ошибке, и вы сможете повторить попытку.

API-токен

Приложению требуется токен API от Hugging Face для доступа к модели создания историй. Чтобы получить токен API, выполните следующие действия:

1. Зарегистрируйтесь или войдите в свою учетную запись Hugging Face на https://huggingface.co/.

2. После входа в систему перейдите в настройки своей учетной записи и перейдите в раздел «Токен API».

3. Создайте новый токен API, скопируйте его и замените заполнитель "your api key" в классе Models файла text_model.py своим фактическим токеном API.

Модели

Класс Models в text_model.py инкапсулирует функциональность приложения. Он содержит следующие методы:

• __init__() :

  • Инициализирует класс и устанавливает токен API и идентификатор модели.

• img2text(url) :

  • Принимает URL-адрес изображения в качестве входных данных и использует модель подписи изображений Salesforce BLIP для преобразования изображения в текст. Он возвращает сгенерированный текст.

• story(payload) :

  • Принимает в качестве входных данных полезную нагрузку, содержащую сгенерированный текст, и отправляет запрос API Hugging Face для создания истории на основе текста. Он возвращает сгенерированную историю.

• chain(payload, num=0) :

  • Этот метод действует как рекурсивная функция, генерирующая цепочку историй. В качестве входных данных он принимает полезную нагрузку, которая изначально содержит сгенерированный текст. Он рекурсивно вызывает метод story() и обновляет полезную нагрузку до тех пор, пока не будет создано желаемое количество историй (в данном случае 50). Индикатор выполнения также обновляется соответствующим образом.

Запуск приложения

Если вам интересно и вы хотите просто попробовать серверные модели, выполните следующую команду:

python text_model.py

Убедитесь, что у вас установлены необходимые зависимости, как указано в разделе установки.

Содействие

Вклады в приложение Story Teller приветствуются! Если вы обнаружите какие-либо проблемы или у вас есть предложения по улучшению, пожалуйста, не стесняйтесь открыть проблему или отправить запрос на включение.