GenAI Image to Voice Description

Изображение GenAI в голосовое описание

Преобразуйте изображения в описательные истории с голосовым повествованием, используя модели генеративного искусственного интеллекта.

Обзор

В этом проекте используются модели генеративного искусственного интеллекта для преобразования изображений в описательные истории с голосовым повествованием. Он использует самые современные методы обработки естественного языка и компьютерного зрения для создания убедительных повествований на основе загруженных изображений. Созданные истории затем обобщаются и озвучиваются в аудиоформате, предоставляя пользователям захватывающий опыт повествования.

Функции

• Преобразование изображения в текст : использует модель сообщения для извлечения текста из загруженных изображений.
• Генерация историй : генерирует короткие истории из извлеченного текста с использованием моделей GPT (генеративный предварительно обученный трансформатор).
• Преобразование текста в речь : преобразует сгенерированные истории в аудиоформат с использованием модели преобразования текста в речь ESPnet от HuggingFace.
• Обобщение : обобщает созданные истории для краткости и ясности.
• Веб-приложение Streamlit : предоставляет удобный интерфейс для загрузки изображений и прослушивания созданных историй.

Использование

1. Загрузите изображение.
2. Подождите, пока модель обработает изображение и создаст историю.
3. Прослушайте созданный рассказ в аудиоформате.
4. При желании просмотрите обобщенную версию истории.

Требования

• Питон 3.6+
• Стримлит
• Трансформеры
• Лангчейн
• HuggingFace API
• ESPnet

Установка

1. Клонируем репозиторий:

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. Установите зависимости:

   pip install -r requirements.txt

Как бежать

Выполните следующую команду:

streamlit run app.py