asktube

AskTube - AI を活用した YouTube 動画サマライザーおよび検索拡張生成 (RAG) を利用した QA アシスタント ?

Ollama を使用して完全にローカル マシン上で実行することも、Claude、OpenAI、Gemini、Mistral などのクラウドベースのモデルで実行することもできます

---

??‍➡️ デモとスクリーンショット

YouTube で「AskTube ファースト デモ」を視聴する

デモ.mp4

---

?特徴

• 字幕なしのビデオでも動作します
• 動画時間制限なし
• 複数の AI ベンダーをサポート
• RAG の実装に重点を置く
• ローカルマシン上で完全に実行可能

??なぜこのプロジェクトが存在するのでしょうか?

• AI を活用したYouTube 動画の概要を提供する GitHub リポジトリをいくつか見てきましたが、 Q&A機能を備えたものはありませんでした。
• AI の経験を積んで独自の RAG アプリケーションを構築しながら、より包括的なソリューションを実装したいと考えています。

---

?テクノロジー

• 言語: Python、JS
• サーバー: [email protected]、Bun@v1
• フレームワーク/ライブラリ: Sanic、Peeweee、Pytubefix、Sentence Transformers、Sqlite、Chroma、NuxtJs/DaisyUI など。
• 埋め込みプロバイダー (分析プロバイダー) :
  • OpenAI
  • ジェミニ
  • VoyageAI
  • ミストラル
  • 文トランスフォーマー (ローカル)
• AIプロバイダー：
  • OpenAI
  • クロード
  • ジェミニ
  • ミストラル
  • オラマ (地元)
• スピーチからテキストへ:
  • ファスターウィスパー (ローカル)
  • アセンブリAI
  • OpenAI
  • ジェミニ

---

⁉ 次の ToDo タスク

• クラウド モデルに Speech To Text を実装する
  • アセンブリAI
  • OpenAI
  • ジェミニ
• 強化する
  • 短いビデオでは RAG の使用をスキップする
  • チャットプロンプト、コンテキスト制限によるチャットメッセージ
  • RAG: クエリ変換の実装
    • マルチクエリ
    • 融合
    • 分解
    • 一歩下がってください
    • ハイデ

---

どうやって走るの？

初めて実行する場合、ローカル モデルをインストールする必要があるため、プログラムが少し遅くなる可能性があります。

マシン上で実行する

• 以下がインストールされていることを確認してください。

  • Python 3.10

    • Windows ユーザーはここからダウンロードしてください
    • Linux、MacOS ユーザーは、 homebrewまたはインストール パッケージ コマンド(apt, dnf, etc)を使用してください。
    • またはcondaを使用します

  • 詩

    • Windows ユーザーはPowershellを開いて次を実行します。

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux、MacOS ユーザーはTerminalを開いて次を実行します。

    curl -sSL https://install.python-poetry.org | python3 -

  • バン

  • ffmpeg

    • MacOS ユーザー

    brew install ffmpeg

    • Linux ユーザー

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows の場合は、このチュートリアルに従ってください Windows 用 ffmpeg をインストールします

• クローンリポジトリ

  git clone https://github.com/jonaskahn/asktube.git

• asktube/engineディレクトリに.envファイルを作成します。

  • ローカルで
  • 一部制限付きで無料

• プログラムを実行する

  • 最初に実行する必要がある場合があります。

  poetry env use python

  • asktube/engineディレクトリのterminal/cmd/powershellを開き、次を実行します。

  poetry install && poetry run python engine/server.py

  • asktube/webディレクトリのterminal/cmd/powershellを開き、次を実行します。

  bun install && bun run dev

• ウェブを開く: http://localhost:3000

dockerあり(準備中)

始める前に

1. これらのサービスを Docker イメージにビルドしましたが、ローカル イメージをビルドしたい場合は、 Windowsの場合はbuild.local.bat 、 MacOSおよびLinuxの場合はbuild.local.amd64.shまたはbuild.local.aarch64.shを実行してください。
2. GPU (cuda または rocm) をお持ちの場合は、上記のENV 設定を参照し、上記のようにパラメータを変更してください

ローカルで

• local.yaml 構成ファイルを使用して開始します
• asktubeディレクトリでterminal/cmd/powershell開きます

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• 実行後、QA のためにOllamaモデルqwen2とllama3.1インストールする必要があります。

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

無料（レート制限あり）

• Google Gemini と VoyageAI にアクセスしてアカウントを登録し、独自の API キーを生成する必要があります。
  • Gemini は Google アカウントで無料で利用できます
  • VoyageAI (Claude の推奨) では 5,000 万トークン (莫大な量) が無料で提供されますが、最初にクレジット カードを追加する必要があります。
• docker ファイルの ENV 設定を無料で置き換えて、docker を起動します
• asktubeディレクトリでterminal/cmd/powershell開きます

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

理想的

• VoyageAI使用したテキストの埋め込み
• QA にOpenAIとClaude使用してアカウントを登録し、独自の API キーを生成します
• Docker ファイルの ENV 設定を理想的に置き換えて、Docker を起動します
• asktubeディレクトリでterminal/cmd/powershell開きます

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

結果

• ウェブを開く: http://localhost:8080

---

建築

実際の実装は複雑であるため、この技術とは異なる場合があります。

1️⃣ 指定された URL からデータを抽出します

2️⃣ 埋め込みチャプター字幕の保存

3️⃣ 尋ねる（充実した質問を含む）

---

?知らせ

1. これを本番環境には使用しないでください。これは、ローカル マシン上のエンドユーザーを対象としていました。
2. 管理のために高度な機能を要求しないでください。

✍?開発用

• バックエンド
• フロントエンド

---

⁉️よくある質問とトラブルシューティング

• FQA

---