GenAI Image to Voice Description

GenAI 画像から音声による説明

生成 AI モデルを使用して、画像を音声ナレーション付きの説明的なストーリーに変換します。

概要

このプロジェクトでは、Generative AI モデルを利用して、画像を音声ナレーション付きの説明的なストーリーに変換します。最先端の自然言語処理とコンピューター ビジョン技術を採用し、アップロードされた画像に基づいて魅力的な物語を生成します。生成されたストーリーはオーディオ形式で要約およびナレーションされ、ユーザーに没入型のストーリーテリング体験を提供します。

特徴

• 画像からテキストへの変換: ブリップ モデルを利用して、アップロードされた画像からテキストを抽出します。
• ストーリー生成: GPT (Generative Pre-trained Transformer) モデルを使用して、抽出されたテキストから短編ストーリーを生成します。
• テキスト読み上げ変換: HuggingFace の ESPnet テキスト読み上げモデルを使用して、生成されたストーリーをオーディオ形式に変換します。
• 要約: 簡潔さと明確さのために、生成されたストーリーを要約します。
• Streamlit Web App : 画像をアップロードし、生成されたストーリーを聞くためのユーザーフレンドリーなインターフェイスを提供します。

使用法

1. 画像をアップロードします。
2. モデルが画像を処理してストーリーを生成するまで待ちます。
3. 生成されたストーリーをオーディオ形式で聞いてください。
4. 必要に応じて、ストーリーの要約バージョンを表示します。

要件

• Python 3.6+
• ストリームライト
• トランスフォーマー
• ラングチェーン
• ハグフェイス API
• ESPネット

インストール

1. リポジトリのクローンを作成します。

   git clone https://github.com/tushark01/GenAI-Image-to-Voice-Description.git

2. 依存関係をインストールします。

   pip install -r requirements.txt

走り方

次のコマンドを実行します。

streamlit run app.py