frogbase

？青蛙基地

從多媒體內容創建可導航的知識

FrogBase （以前稱為 Whisper-ui）簡化了多媒體內容的download-transcribe-embed-index工作流程。它透過將來自不同平台 (yt_dlp) 的內容與語音到文字模型（OpenAI 的 Whisper）、圖像和文字編碼器 (SentenceTransformers) 以及嵌入儲存 (hnswlib) 連結起來來實現這一點。

️警告：目前這是預發行版本，已知非常不穩定。對於穩定版本，請使用任何 1.x 版本。

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

完整文檔（WIP）。

FrogBase 也為非技術用戶提供了即用型 UI！

耳語-ui-更新-demo.mp4

特徵

FrogBase 目前提供以下功能：

• 使用 yt_dlp 從各種平台（YouTube、TikTok、Vimeo 等）下載媒體文件
• 使用 OpenAI 的 Whisper 轉錄下載和本地檔案的音訊串流
• 使用句子轉換器嵌入相應視頻片段中的轉錄文本
• 使用 hnswlib 索引和搜尋嵌入內容

FrogBase 還包括 Streamlit UI，為上述功能提供簡單的 GUI，從而實現本地託管的互動體驗。

快速入門

• 軟體開發商
• 非技術用戶

軟體開發商

本節適用於想要將 FrogBase 作為 python 套件使用的軟體開發人員。

1. 安裝ffmpeg和 FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. 導入 FrogBase 並按如下方式使用它 -

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

非技術用戶

本部分適用於希望主要透過隨附的 Streamlit UI 使用 FrogBase 的非技術用戶。

1. 從此處下載最新版本的 FrogBase 並解壓縮。或者，您也可以複製儲存庫console git clone https://github.com/hayabhay/frogbase.git

2. 手動安裝 FrogBase 依賴項並執行 UI。

   注意：這也需要在您的系統上安裝ffmpeg 。您可以在 Ubuntu 上使用sudo apt install ffmpeg安裝它。

   1. 使用點

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[即將推出] 使用 Docker 和 Anaconda 的安裝說明、環境

連結

• 文件
• 問題與討論
• 不和諧
• 歷史
• 路線圖
• 貢獻指南
• 許可證（麻省理工學院）