image to text a stroeyteller model

故事講述者.vid.-.Made.with.Clipchamp.mp4

說故事的人

Story Teller 是一款 Streamlit 應用程序，可根據輸入影像產生故事。它利用 Hugging Face Transformers 庫和 Salesforce BLIP 圖片字幕模型。

目錄

• 安裝
• 用法
• API令牌
• 型號
• 運行應用程式
• 貢獻

安裝

若要安裝必要的依賴項，請執行以下命令：

pip install -r requirements.txt

確保您具有在requirements.txt檔案中指定的所需依賴項。

用法

要使用該應用程序，請按照以下步驟操作：

1. 透過執行以下命令來執行 Streamlit 應用程式：

   streamlit run app.py

2. 透過控制台中提供的 URL 存取應用程式。

3. 應用程式介面將出現，標題為“講故事的人”，並顯示“上傳圖像並獲取故事”的說明。

4. 點擊“在此處上傳您的檔案...”按鈕選擇圖像檔案（支援的格式：PNG、JPEG、JPG）。

5. 圖片上傳後，就會顯示在頁面上。

6. 該應用程式將使用 Salesforce BLIP 圖片字幕模型處理上傳的映像，並產生圖片的文字描述。

7. 然後生成的文字將被傳遞到 Hugging Face API，以根據文字產生故事。

8. 應用程式將在頁面上顯示生成的故事。

9. 如果過程中出現錯誤，頁面會顯示錯誤訊息，您可以重試。

API令牌

該應用程式需要 Hugging Face 的 API 令牌才能存取故事生成模型。若要取得 API 令牌，請執行下列步驟：

1. 在 https://huggingface.co/ 上註冊或登入您的 Hugging Face 帳戶。

2. 登入後，前往您的帳戶設定並導航至「API 令牌」部分。

3. 產生一個新的 API 令牌，複製它，並將text_model.py的Models類別中的"your api key"佔位符替換為您的實際 API 令牌。

型號

text_model.py中的Models類別封裝了應用程式的功能。它包含以下方法：

• __init__() ：

  • 初始化類別並設定 API 令牌和模型 ID。

• img2text(url) ：

  • 將圖像 URL 作為輸入，並使用 Salesforce BLIP 圖片字幕模型將圖像轉換為文字。它會傳回生成的文字。

• story(payload) ：

  • 將有效負載作為輸入，其中包含生成的文本，並向 Hugging Face API 發送請求以根據文本生成故事。它返回生成的故事。

• chain(payload, num=0) ：

  • 此方法充當生成故事鏈的遞歸函數。它採用有效負載作為輸入，該有效負載最初包含生成的文字。它遞歸地呼叫story()方法並更新有效負載，直到產生所需數量的故事（在本例中為50）。進度條也會隨之更新。

運行應用程式

如果您好奇並且只想嘗試後端模型，請執行以下命令：

python text_model.py

確保您已安裝所需的依賴項，如安裝部分所述。

貢獻

歡迎為 Story Teller 應用程式做出貢獻！如果您發現任何問題或有改進建議，請隨時提出問題或提交拉取請求。