frogbase

？青蛙基地

从多媒体内容创建可导航的知识

FrogBase （以前称为 Whisper-ui）简化了多媒体内容的download-transcribe-embed-index工作流程。它通过将来自不同平台 (yt_dlp) 的内容与语音到文本模型（OpenAI 的 Whisper）、图像和文本编码器 (SentenceTransformers) 以及嵌入存储 (hnswlib) 链接起来来实现这一点。

️警告：目前这是预发行版本，已知非常不稳定。对于稳定版本，请使用任何 1.x 版本。

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

完整文档（WIP）。

FrogBase 还为非技术用户提供了即用型 UI！

耳语-ui-更新-demo.mp4

特征

FrogBase 目前提供以下功能：

• 使用 yt_dlp 从各种平台（YouTube、TikTok、Vimeo 等）下载媒体文件
• 使用 OpenAI 的 Whisper 转录下载和本地文件的音频流
• 使用句子转换器嵌入相应视频片段中的转录文本
• 使用 hnswlib 索引和搜索嵌入内容

FrogBase 还包括 Streamlit UI，为上述功能提供简单的 GUI，从而实现本地托管的交互式体验。

快速入门

• 软件开发商
• 非技术用户

软件开发商

本节适用于想要将 FrogBase 作为 python 包使用的软件开发人员。

1. 安装ffmpeg和 FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. 导入 FrogBase 并按如下方式使用它 -

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

非技术用户

本部分适用于希望主要通过随附的 Streamlit UI 使用 FrogBase 的非技术用户。

1. 从此处下载最新版本的 FrogBase 并解压缩。或者，您也可以克隆存储库console git clone https://github.com/hayabhay/frogbase.git

2. 手动安装 FrogBase 依赖项并运行 UI。

   注意：这还需要您的系统上安装ffmpeg 。您可以在 Ubuntu 上使用sudo apt install ffmpeg安装它。

   1. 使用点

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[即将推出] 使用 Docker 和 Anaconda 的安装说明、环境

链接

• 文档
• 问题与讨论
• 不和谐
• 历史
• 路线图
• 贡献指南
• 许可证（麻省理工学院）