asktube

AskTube - 由檢索增強生成 (RAG) 支援的人工智慧 YouTube 影片摘要器和 QA 助理？

使用 Ollama 或基於雲端的模型（如 Claude、OpenAI、Gemini、Mistral 等）完全在本機上運行它

---

??‍➡️ 示範及截圖

在 YouTube 上觀看“AskTube 第一個演示”

演示.mp4

---

？特徵

• 甚至可以處理無字幕視頻
• 不限制視訊時間
• 支持多家AI廠商
• 專注於 RAG 實施
• 完全在本機電腦上運行

??為什麼這個項目存在？

• 我看過幾個 GitHub 儲存庫為 YouTube 影片提供人工智慧驅動的摘要，但沒有一個包含問答功能。
• 我希望實施更全面的解決方案，同時獲得 AI 經驗來建立自己的 RAG 應用程式。

---

？科技

• 語言：Python、JS
• 伺服器：[email protected]，Bun@v1
• 框架/函式庫：Sanic、Peewee、Pytubefix、Sentence Transformers、Sqlite、Chroma、NuxtJs/DaisyUI 等。
• 嵌入提供者（分析提供者） ：
  • 開放人工智慧
  • 雙子座
  • 航行人工智慧
  • 米斯特拉爾
  • 句子變壓器（本地）
• 人工智慧提供者：
  • 開放人工智慧
  • 克洛德
  • 雙子座
  • 米斯特拉爾
  • 奧拉馬（當地）
• 語音轉文字：
  • Faster-Whisper（本地）
  • 裝配人工智慧
  • 開放人工智慧
  • 雙子座

---

?️ 下一個待辦事項

• 為雲端模型實施語音轉文本
  • 裝配人工智慧
  • 開放人工智慧
  • 雙子座
• 提高
  • 跳過對短視頻使用 RAG
  • 聊天提示、聊天訊息受上下文限制
  • RAG：實施查詢翻譯
    • 多查詢
    • 融合
    • 分解
    • 退後一步
    • 海德

---

怎麼跑？

第一次運行時，由於需要安裝本機模型，程式可能會有點慢。

在你的機器上運行

• 確保您安裝了：

  • Python 3.10

    • Windows 用戶，請在此下載
    • Linux、MacOS 用戶，請使用homebrew或安裝套件指令(apt, dnf, etc)
    • 或使用conda

  • 詩

    • Windows 使用者開啟Powershell並執行：

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux、MacOS 用戶開啟Terminal並執行：

    curl -sSL https://install.python-poetry.org | python3 -

  • 包子

  • ffmpeg

    • 蘋果系統用戶

    brew install ffmpeg

    • Linux用戶

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows ，請依照本教學安裝 ffmpeg for Windows

• 克隆儲存庫

  git clone https://github.com/jonaskahn/asktube.git

• 在asktube/engine目錄中建立檔案.env ：

  • 本地
  • 免費，但有一些限制

• 運行程式

  • 您可能需要先運行：

  poetry env use python

  • 開啟asktube/engine目錄下的terminal/cmd/powershell ，然後執行：

  poetry install && poetry run python engine/server.py

  • 開啟asktube/web目錄下的terminal/cmd/powershell ，然後執行：

  bun install && bun run dev

• 開啟網址：http://localhost:3000

使用 docker（進行中）

開始之前

1. 我為 docker 映像建置了這些服務，但如果你想建置本機映像，請執行build.local.bat for Windows或build.local.amd64.sh或build.local.aarch64.sh for MacOS , Linux
2. 如果您有 GPU（cuda 或 rocm），請參考上面的ENV 設置，並以上面的方式更改參數

本地

• 使用local.yaml compose檔案啟動
• 在asktube目錄中開啟terminal/cmd/powershell

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• 運行後，需要安裝Ollama模型qwen2和llama3.1用於QA

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

免費（有速率限制）

• 您需要去 Google Gemini 和 VoyageAI 註冊帳戶並產生您自己的 API 金鑰：
  • 使用您的 Google 帳戶可以免費使用 Gemini
  • VoyageAI（Claude推薦）免費為您提供50M代幣（數額巨大），但您需要先添加信用卡。
• 取代 docker 檔案中的 ENV 設定並啟動 docker
• 在asktube目錄中開啟terminal/cmd/powershell

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

理想的

• 使用VoyageAI嵌入文本
• 使用OpenAI和Claude進行 QA，註冊帳戶並產生您自己的 API 金鑰
• 取代 docker 檔案 Ideal 中的 ENV 設定並啟動 docker
• 在asktube目錄中開啟terminal/cmd/powershell

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

結果

• 開啟網址：http://localhost:8080

---

建築學

由於其複雜性，實際的實現可能與該技術有所不同。

1️⃣ 從給定的 URL 中提取數據

2️⃣ 儲存嵌入章節字幕

3️⃣ 問（包括豐富問題）

---

？注意

1. 不要將其用於生產。這針對的是本機上的最終使用者。
2. 不要求任何高階管理功能。

✍？為了發展

• 後端
• 前端

---

⁉️常見問題與故障排除

• 常見問題解答

---