image to text a stroeyteller model

story.teller.vid.-.Made.with.Clipchamp.mp4

ストーリーテラー

Story Teller は、入力画像に基づいてストーリーを生成する Streamlit アプリケーションです。これは、Hugging Face Transformers ライブラリと Salesforce BLIP 画像キャプション モデルを利用します。

目次

• インストール
• 使用法
• APIトークン
• モデル
• アプリケーションの実行
• 貢献する

インストール

必要な依存関係をインストールするには、次のコマンドを実行します。

pip install -r requirements.txt

必要な依存関係がrequirements.txtファイルで指定されていることを確認してください。

使用法

アプリケーションを使用するには、次の手順に従います。

1. 次のコマンドを実行して、Streamlit アプリケーションを実行します。

   streamlit run app.py

2. コンソールで指定された URL を介してアプリケーションにアクセスします。

3. アプリケーション インターフェイスには、「Story Teller」というタイトルと、「画像をアップロードしてストーリーを取得する」という指示が表示されます。

4. [ここにファイルをアップロード...] ボタンをクリックして画像ファイル (サポートされている形式: PNG、JPEG、JPG) を選択します。

5. 画像がアップロードされると、ページに表示されます。

6. アプリケーションは、Salesforce BLIP 画像キャプション モデルを使用してアップロードされた画像を処理し、画像のテキストによる説明を生成します。

7. 生成されたテキストは Hugging Face API に渡され、テキストに基づいてストーリーが生成されます。

8. アプリケーションは、生成されたストーリーをページに表示します。

9. 処理中にエラーが発生した場合は、ページにエラー メッセージが表示され、再試行できます。

APIトークン

アプリケーションがストーリー生成モデルにアクセスするには、Hugging Face からの API トークンが必要です。 API トークンを取得するには、次の手順に従います。

1. https://huggingface.co/ で Hugging Face アカウントにサインアップまたはログインします。

2. ログインしたら、アカウント設定に移動し、「API トークン」セクションに移動します。

3. 新しい API トークンを生成してコピーし、 text_model.pyのModelsクラスの"your api key"プレースホルダーを実際の API トークンに置き換えます。

モデル

text_model.pyのModelsクラスは、アプリケーションの機能をカプセル化します。これには次のメソッドが含まれています。

• __init__() :

  • クラスを初期化し、API トークンとモデル ID を設定します。

• img2text(url) :

  • 画像 URL を入力として受け取り、Salesforce BLIP 画像キャプション モデルを使用して画像をテキストに変換します。生成されたテキストを返します。

• story(payload) :

  • 生成されたテキストを含むペイロードを入力として受け取り、Hugging Face API にリクエストを送信して、テキストに基づいてストーリーを生成します。生成されたストーリーを返します。

• chain(payload, num=0) :

  • このメソッドは、一連のストーリーを生成する再帰関数として機能します。ペイロードを入力として受け取ります。ペイロードには、最初に生成されたテキストが含まれます。これは、 story()メソッドを再帰的に呼び出し、必要な数のストーリー (この場合は 50) が生成されるまでペイロードを更新します。それに応じて進行状況バーも更新されます。

アプリケーションの実行

興味があり、バックエンド モデルだけを試してみたい場合は、次のコマンドを実行します。

python text_model.py

インストールのセクションで説明したように、必要な依存関係がインストールされていることを確認してください。

貢献する

Story Teller アプリケーションへの貢献は大歓迎です。問題を見つけた場合、または改善のための提案がある場合は、お気軽に問題をオープンするか、プル リクエストを送信してください。