asktube

AskTube - 由检索增强生成 (RAG) 提供支持的人工智能 YouTube 视频摘要器和 QA 助手？

使用 Ollama 或基于云的模型（如 Claude、OpenAI、Gemini、Mistral 等）完全在本地计算机上运行它

---

??‍➡️ 演示及截图

在 YouTube 上观看“AskTube 第一个演示”

演示.mp4

---

？特征

• 甚至可以处理无字幕视频
• 不限制视频时间
• 支持多家AI厂商
• 专注于 RAG 实施
• 完全在本地计算机上运行

??为什么这个项目存在？

• 我见过几个 GitHub 存储库为 YouTube 视频提供人工智能驱动的摘要，但没有一个包含问答功能。
• 我希望实施更全面的解决方案，同时获得 AI 经验来构建自己的 RAG 应用程序。

---

？技术

• 语言：Python、JS
• 服务器：[email protected]，Bun@v1
• 框架/库：Sanic、Peewee、Pytubefix、Sentence Transformers、Sqlite、Chroma、NuxtJs/DaisyUI 等。
• 嵌入提供商（分析提供商） ：
  • 开放人工智能
  • 双子座
  • 航行人工智能
  • 米斯特拉尔
  • 句子变压器（本地）
• 人工智能提供商：
  • 开放人工智能
  • 克洛德
  • 双子座
  • 米斯特拉尔
  • 奥拉马（当地）
• 语音转文字：
  • Faster-Whisper（本地）
  • 装配人工智能
  • 开放人工智能
  • 双子座

---

?️ 下一个待办事项

• 为云模型实施语音转文本
  • 装配人工智能
  • 开放人工智能
  • 双子座
• 提高
  • 跳过对短视频使用 RAG
  • 聊天提示、聊天消息受上下文限制
  • RAG：实施查询翻译
    • 多查询
    • 融合
    • 分解
    • 退后一步
    • 海德

---

怎么跑？

第一次运行时，由于需要安装本地模型，程序可能会有点慢。

在你的机器上运行

• 确保您安装了：

  • Python 3.10

    • Windows 用户，请在此下载
    • Linux、MacOS 用户，请使用homebrew或安装包命令(apt, dnf, etc)
    • 或者使用conda

  • 诗

    • Windows 用户打开Powershell并运行：

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux、MacOS 用户打开Terminal并运行：

    curl -sSL https://install.python-poetry.org | python3 -

  • 包子

  • ffmpeg

    • 苹果系统用户

    brew install ffmpeg

    • Linux用户

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows ，请按照本教程安装 ffmpeg for Windows

• 克隆存储库

  git clone https://github.com/jonaskahn/asktube.git

• 在asktube/engine目录中创建文件.env ：

  • 本地
  • 免费，但有一些限制

• 运行程序

  • 您可能需要先运行：

  poetry env use python

  • 打开asktube/engine目录下的terminal/cmd/powershell ，然后运行：

  poetry install && poetry run python engine/server.py

  • 打开asktube/web目录下的terminal/cmd/powershell ，然后运行：

  bun install && bun run dev

• 打开网址：http://localhost:3000

使用 docker（进行中）

开始之前

1. 我为 docker 镜像构建了这些服务，但如果你想构建本地镜像，请运行build.local.bat for Windows或build.local.amd64.sh或build.local.aarch64.sh for MacOS , Linux
2. 如果您有 GPU（cuda 或 rocm），请参考上面的ENV 设置，按上面的方式更改参数

本地

• 使用local.yaml compose文件启动
• 在asktube目录中打开terminal/cmd/powershell

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• 运行后，需要安装Ollama模型qwen2和llama3.1用于QA

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

免费（有速率限制）

• 您需要去 Google Gemini 和 VoyageAI 注册帐户并生成您自己的 API 密钥：
  • 使用您的 Google 帐户可以免费使用 Gemini
  • VoyageAI（Claude推荐）免费为您提供50M代币（数额巨大），但您需要先添加信用卡。
• 替换 docker 文件中的 ENV 设置并启动 docker
• 在asktube目录中打开terminal/cmd/powershell

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

理想的

• 使用VoyageAI嵌入文本
• 使用OpenAI和Claude进行 QA，注册帐户并生成您自己的 API 密钥
• 替换 docker 文件 Ideal 中的 ENV 设置并启动 docker
• 在asktube目录中打开terminal/cmd/powershell

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

结果

• 打开网址：http://localhost:8080

---

建筑学

由于其复杂性，实际的实现可能与该技术有所不同。

1️⃣ 从给定的 URL 中提取数据

2️⃣ 存储嵌入章节字幕

3️⃣ 提问（包括丰富问题）

---

？注意

1. 不要将其用于生产。这针对的是本地计算机上的最终用户。
2. 不要求任何高级管理功能。

✍？为了发展

• 后端
• 前端

---

⁉️常见问题解答和故障排除

• 常见问题解答

---