GenAI Image to Voice Description

GenAI 影像轉語音描述

使用生成式 AI 模型將圖像轉換為帶有語音旁白的描述性故事。

概述

該專案利用生成式人工智慧模型將圖像轉換為帶有語音旁白的描述性故事。它採用最先進的自然語言處理和電腦視覺技術，根據上傳的圖像產生引人入勝的敘述。生成的故事隨後以音訊格式進行總結和敘述，為使用者提供身臨其境的講故事體驗。

特徵

• 圖像到文字轉換：利用 blip 模型從上傳的圖像中提取文字。
• 故事生成：使用 GPT（生成式預訓練變壓器）模型從擷取的文字產生短故事。
• 文字轉語音轉換：使用 HuggingFace 的 ESPnet 文字到語音模型將產生的故事轉換為音訊格式。
• 摘要：總結生成的故事，以簡潔明了。
• Streamlit Web 應用程式：提供使用者友善的介面，用於上傳圖像和聆聽產生的故事。

用法

1. 上傳圖像。
2. 等待模型處理圖像並產生故事。
3. 以音訊格式聆聽產生的故事。
4. （可選）查看故事的摘要版本。

要求

• Python 3.6+
• 流線型
• 變形金剛
• 浪鏈
• 擁抱臉API
• ESP網路

安裝

1. 克隆儲存庫：

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. 安裝依賴項：

   pip install -r requirements.txt

如何跑步

運行以下命令：

streamlit run app.py