frogbase

?フロッグベース

マルチメディア コンテンツからナビゲート可能な知識を作成する

FrogBase (以前は Whisper-ui) は、マルチメディア コンテンツのdownload-transcribe-embed-indexワークフローを簡素化します。これは、さまざまなプラットフォーム (yt_dlp) からのコンテンツを音声テキスト変換モデル (OpenAI の Whisper)、画像およびテキスト エンコーダー (SentenceTransformers)、および埋め込みストア (hnswlib) とリンクすることによって実現されます。

️警告: これは現在プレリリース バージョンであり、非常に不安定であることが知られています。安定したリリースの場合は、1.x バージョンを使用してください。

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

完全なドキュメント (WIP)。

FrogBase には、技術者以外のユーザーでもすぐに使える UI も付属しています。

ささやき-ui-アップデート-デモ.mp4

特徴

FrogBase は現在、次の機能を提供しています。

• yt_dlp を使用して、さまざまなプラットフォーム (YouTube、TikTok、Vimeo など) からメディア ファイルをダウンロードします
• OpenAI の Whisper を使用して、ダウンロードしたローカル ファイルのオーディオ ストリームを文字起こしする
• Sentence Transformers を使用して、対応するビデオ セグメントから転写されたテキストを埋め込む
• hnswlib を使用した埋め込みコンテンツのインデックス付けと検索

FrogBase には、ローカルでホストされるインタラクティブなエクスペリエンスを可能にする上記の機能用のシンプルな GUI を提供する Streamlit UI も含まれています。

クイックスタート

• ソフトウェア開発者
• 技術者以外のユーザー

ソフトウェア開発者

このセクションは、FrogBase を Python パッケージとして使用したいソフトウェア開発者を対象としています。

1. ffmpegとFrogBaseをインストールする

    sudo apt install ffmpeg
   pip install frogbase

2. FrogBase をインポートし、次のように使用します。

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

技術者以外のユーザー

このセクションは、主に付属の Streamlit UI を通じて FrogBase を使用したい非技術ユーザーを対象としています。

1. ここから FrogBase の最新リリースをダウンロードして解凍します。または、リポジトリconsole git clone https://github.com/hayabhay/frogbase.gitクローンを作成することもできます。

2. FrogBase の依存関係を手動でインストールし、UI を実行します。

   注: これには、システムにffmpegがインストールされている必要もあります。 Ubuntu ではsudo apt install ffmpeg使用してインストールできます。

   1. ピップの使用

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

【近日公開】Docker & Anacondaを使用したインストール手順、環境

リンク

• ドキュメント
• 問題と議論
• 不和
• 歴史
• ロードマップ
• 貢献ガイド
• ライセンス (MIT)