asktube

AskTube - Peringkas video YouTube yang didukung AI dan asisten QA yang didukung oleh Retrieval Augmented Generation (RAG)?

Jalankan sepenuhnya di mesin lokal Anda dengan Ollama, atau model berbasis cloud seperti Claude, OpenAI, Gemini, Mistral, dan banyak lagi

---

??‍➡️ Demo & Tangkapan Layar

Tonton "Demo Pertama AskTube" di YouTube

demo.mp4

---

? Fitur

• Bekerja bahkan dengan video tanpa subtitle
• Tidak ada batasan waktu video
• Mendukung banyak vendor AI
• Fokus pada implementasi RAG
• Jalankan sepenuhnya di mesin lokal Anda

?? Mengapa proyek ini ada?

• Saya telah melihat beberapa repositori GitHub yang menawarkan ringkasan bertenaga AI untuk video YouTube, namun tidak ada yang menyertakan fungsi Tanya Jawab .
• Saya ingin menerapkan solusi yang lebih komprehensif sekaligus mendapatkan pengalaman dengan AI untuk membangun aplikasi RAG saya sendiri.

---

? Teknologi

• Bahasa : Python, JS
• Server : [email protected], Bun@v1
• Kerangka/Lib : Sanic, Peewee, Pytubefix, Kalimat Transformers, Sqlite, Chroma, NuxtJs/DaisyUI, dll.
• Penyedia Penyematan (Penyedia Analisis) :
  • OpenAI
  • Gemini
  • VoyageAI
  • Mistral
  • Pengubah Kalimat (Lokal)
• Penyedia AI :
  • OpenAI
  • Claude
  • Gemini
  • Mistral
  • Ollama (Lokal)
• Pidato Ke Teks :
  • Bisikan Lebih Cepat (Lokal)
  • MajelisAI
  • OpenAI
  • Gemini

---

?️ Tugas Tugas Berikutnya

• Menerapkan Ucapan Ke Teks untuk model cloud
  • MajelisAI
  • OpenAI
  • Gemini
• Meningkatkan
  • Lewati penggunaan RAG untuk video pendek
  • Perintah obrolan, pesan obrolan berdasarkan batas konteks
  • RAG: Menerapkan Terjemahan Kueri
    • Multikueri
    • Fusi
    • Penguraian
    • Mundur
    • HyDE

---

Bagaimana cara menjalankannya?

Untuk pertama kali dijalankan, program ini mungkin agak lambat karena perlu menginstal model lokal.

Jalankan di mesin Anda

• Pastikan Anda menginstal:

  • Python 3.10

    • Pengguna Windows , silakan unduh di sini
    • Linux, Pengguna MacOS , silakan gunakan homebrew atau perintah instal paket Anda (apt, dnf, etc)
    • Atau gunakan conda

  • Puisi

    • Pengguna Windows membuka Powershell dan menjalankan:

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux, Pengguna MacOS buka Terminal dan jalankan:

    curl -sSL https://install.python-poetry.org | python3 -

  • Sanggul

  • ffmpeg

    • Pengguna MacOS

    brew install ffmpeg

    • Pengguna Linux

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows , silakan ikuti tutorial ini Instal ffmpeg untuk Windows

• Repositori kloning

  git clone https://github.com/jonaskahn/asktube.git

• Buat file .env di direktori asktube/engine :

  • Secara lokal
  • Gratis dengan beberapa batasan

• Jalankan program

  • Anda mungkin perlu menjalankannya terlebih dahulu:

  poetry env use python

  • Buka terminal/cmd/powershell di direktori asktube/engine , lalu jalankan:

  poetry install && poetry run python engine/server.py

  • Buka terminal/cmd/powershell di direktori asktube/web , lalu jalankan:

  bun install && bun run dev

• Buka web: http://localhost:3000

Dengan buruh pelabuhan (Dalam proses)

Sebelum Anda Mulai

1. Saya membuat layanan ini untuk gambar buruh pelabuhan, tetapi jika Anda ingin membuat gambar lokal, jalankan build.local.bat untuk Windows atau build.local.amd64.sh atau build.local.aarch64.sh untuk MacOS , Linux
2. Jika Anda memiliki GPU (cuda atau rocm), silakan lihat pengaturan ENV di atas, ubah parameter seperti di atas

Secara lokal

• Gunakan file penulisan local.yaml untuk memulai
• Buka terminal/cmd/powershell di direktori asktube

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• Setelah dijalankan, Anda perlu menginstal model Ollama qwen2 dan llama3.1 untuk QA

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

Gratis (dengan batas tarif)

• Anda harus menggunakan Google Gemini dan VoyageAI untuk mendaftarkan akun dan membuat kunci API Anda sendiri:
  • Gemini gratis dengan Akun Google Anda
  • VoyageAI (direkomendasikan oleh Claude) memberi Anda 50 juta token gratis (jumlah yang sangat besar) tetapi Anda perlu menambahkan kartu kredit Anda terlebih dahulu.
• Ganti pengaturan ENV Anda di file buruh pelabuhan gratis dan mulai buruh pelabuhan
• Buka terminal/cmd/powershell di direktori asktube

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

Ideal

• Menggunakan VoyageAI untuk menyematkan teks
• Menggunakan OpenAI dan Claude untuk QA, daftarkan akun dan buat kunci API Anda sendiri
• Ganti pengaturan ENV Anda di file buruh pelabuhan ideal dan mulai buruh pelabuhan
• Buka terminal/cmd/powershell di direktori asktube

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

Hasil

• Buka web: http://localhost:8080

---

Arsitektur

Implementasi sebenarnya mungkin berbeda dari seni ini karena kompleksitasnya.

1️⃣ Ekstrak data dari URL yang diberikan

2️⃣ Menyimpan penyematan subtitle bab

3️⃣ Bertanya (termasuk pertanyaan pengayaan)

---

? Melihat

1. Jangan gunakan ini untuk produksi. Ini ditujukan untuk pengguna akhir di mesin lokal mereka.
2. Jangan meminta fitur lanjutan apa pun untuk manajemen.

✍? Untuk pengembangan

• Bagian belakang
• Bagian depan

---

⁉️ FAQ dan Pemecahan Masalah

• Tanya Jawab

---