GenAI Image to Voice Description

GenAI 图像转语音描述

使用生成式 AI 模型将图像转换为带有语音旁白的描述性故事。

概述

该项目利用生成式人工智能模型将图像转换为带有语音旁白的描述性故事。它采用最先进的自然语言处理和计算机视觉技术，根据上传的图像生成引人入胜的叙述。生成的故事随后以音频格式进行总结和叙述，为用户提供身临其境的讲故事体验。

特征

• 图像到文本转换：利用 blip 模型从上传的图像中提取文本。
• 故事生成：使用 GPT（生成式预训练变压器）模型从提取的文本生成短故事。
• 文本到语音转换：使用 HuggingFace 的 ESPnet 文本到语音模型将生成的故事转换为音频格式。
• 摘要：总结生成的故事，以简洁明了。
• Streamlit Web 应用程序：提供用户友好的界面，用于上传图像和收听生成的故事。

用法

1. 上传图像。
2. 等待模型处理图像并生成故事。
3. 以音频格式收听生成的故事。
4. （可选）查看故事的摘要版本。

要求

• Python 3.6+
• 流线型
• 变形金刚
• 浪链
• 拥抱脸API
• ESP网络

安装

1. 克隆存储库：

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. 安装依赖项：

   pip install -r requirements.txt

如何跑步

运行以下命令：

streamlit run app.py