asktube

AskTube - ตัวสรุปวิดีโอ YouTube ที่ขับเคลื่อนด้วย AI และผู้ช่วย QA ที่ขับเคลื่อนโดยดึงข้อมูล Augmented Generation (RAG)

เรียกใช้งานทั้งหมดบนเครื่องท้องถิ่นของคุณด้วย Ollama หรือโมเดลบนคลาวด์ เช่น Claude, OpenAI, Gemini, Mistral และอื่นๆ อีกมากมาย

---

??‍➡️ การสาธิตและภาพหน้าจอ

ดู "AskTube การสาธิตครั้งแรก" บน YouTube

สาธิต.mp4

---

- คุณสมบัติ

• ทำงานได้แม้กับวิดีโอที่ไม่มีคำบรรยาย
• ไม่จำกัดเวลาวิดีโอ
• สนับสนุนผู้จำหน่าย AI หลายราย
• มุ่งเน้นไปที่การนำ RAG ไปปฏิบัติ
• ทำงานอย่างสมบูรณ์บนเครื่องท้องถิ่นของคุณ

- ทำไมถึงมีโครงการนี้?

• ฉันเคยเห็นพื้นที่เก็บข้อมูล GitHub หลายแห่งที่นำเสนอข้อมูลสรุป ที่ขับเคลื่อนโดย AI สำหรับวิดีโอ YouTube แต่ไม่มีฟังก์ชัน ถามตอบ เลย
• ฉันต้องการใช้โซลูชันที่ครอบคลุมมากขึ้น ในขณะเดียวกันก็ได้รับประสบการณ์เกี่ยวกับ AI เพื่อสร้างแอปพลิเคชัน RAG ของตัวเองด้วย

---

- เทคโนโลยี

• ภาษา : Python, JS
• เซิร์ฟเวอร์ : [email protected], Bun@v1
• Framework/Lib : Sanic, Peewee, Pytubefix, Sentence Transformers, Sqlite, Chroma, NuxtJs/DaisyUI ฯลฯ
• ผู้ให้บริการฝัง (ผู้ให้บริการวิเคราะห์) :
  • OpenAI
  • ราศีเมถุน
  • VoyageAI
  • มิสทรัล
  • Transformers ประโยค (ท้องถิ่น)
• ผู้ให้บริการ AI :
  • OpenAI
  • คลอดด์
  • ราศีเมถุน
  • มิสทรัล
  • โอลามา (ท้องถิ่น)
• พูดเป็นข้อความ :
  • เร็วกว่ากระซิบ (ท้องถิ่น)
  • การประกอบAI
  • OpenAI
  • ราศีเมถุน

---

️ งานสิ่งที่ต้องทำถัดไป

• ใช้คำพูดเป็นข้อความสำหรับโมเดลคลาวด์
  • การประกอบAI
  • OpenAI
  • ราศีเมถุน
• ยกระดับ
  • ข้ามการใช้ RAG สำหรับวิดีโอสั้น
  • ข้อความแชท ข้อความแชทตามขีดจำกัดบริบท
  • RAG: ใช้การแปลแบบสอบถาม
    • มัลติคิวรี
    • ฟิวชั่น
    • การสลายตัว
    • ถอยกลับไป
    • ไฮด์

---

วิ่งยังไง?

สำหรับการรันครั้งแรก โปรแกรมอาจช้าเล็กน้อยเนื่องจากจำเป็นต้องติดตั้งโมเดลในเครื่อง

ทำงานบนเครื่องของคุณ

• ตรวจสอบให้แน่ใจว่าคุณติดตั้ง:

  • หลาม 3.10

    • ผู้ใช้ Windows โปรดดาวน์โหลดที่นี่
    • ผู้ใช้ Linux, MacOS โปรดใช้ homebrew หรือคำสั่งแพ็คเกจการติดตั้งของคุณ (apt, dnf, etc)
    • หรือใช้ conda

  • บทกวี

    • ผู้ใช้ Windows เปิด Powershell และเรียกใช้:

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • ผู้ใช้ Linux, MacOS เปิด Terminal แล้วเรียกใช้:

    curl -sSL https://install.python-poetry.org | python3 -

  • บุญ

  • ffmpeg

    • ผู้ใช้ MacOS

    brew install ffmpeg

    • ผู้ใช้ลินุกซ์

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows โปรดทำตามบทช่วยสอนนี้ ติดตั้ง ffmpeg สำหรับ Windows

• พื้นที่เก็บข้อมูลโคลน

  git clone https://github.com/jonaskahn/asktube.git

• สร้างไฟล์ .env ในไดเร็กทอรี asktube/engine :

  • ในท้องถิ่น
  • ฟรีโดยมีข้อจำกัดบางประการ

• เรียกใช้โปรแกรม

  • คุณอาจต้องเรียกใช้ก่อน:

  poetry env use python

  • เปิด terminal/cmd/powershell ในไดเร็กทอรี asktube/engine จากนั้นรัน:

  poetry install && poetry run python engine/server.py

  • เปิด terminal/cmd/powershell ในไดเรกทอรี asktube/web จากนั้นเรียกใช้:

  bun install && bun run dev

• เปิดเว็บ: http://localhost:3000

ด้วยนักเทียบท่า (อยู่ระหว่างดำเนินการ)

ก่อนที่คุณจะเริ่ม

1. ฉันสร้างบริการเหล่านี้สำหรับอิมเมจนักเทียบท่า แต่หากคุณต้องการสร้างอิมเมจในเครื่อง โปรดเรียกใช้ build.local.bat สำหรับ Windows หรือ build.local.amd64.sh หรือ build.local.aarch64.sh สำหรับ MacOS , Linux
2. หากคุณมี GPU (cuda หรือ rocm) โปรดดู การตั้งค่า ENV ด้านบน เปลี่ยนพารามิเตอร์เหมือนด้านบน

ในท้องถิ่น

• ใช้ไฟล์เขียน local.yaml เพื่อเริ่มต้น
• เปิด terminal/cmd/powershell ในไดเรกทอรี asktube

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• หลังจากรัน คุณต้องติดตั้ง Ollama รุ่น qwen2 และ llama3.1 สำหรับ QA

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

ฟรี (มีขีดจำกัดอัตรา)

• คุณต้องไปที่ Google Gemini และ VoyageAI เพื่อลงทะเบียนบัญชีและสร้างคีย์ API ของคุณเอง:
  • Gemini ฟรีด้วยบัญชี Google ของคุณ
  • VoyageAI (แนะนำโดย Claude) ให้โทเค็นฟรี 50M (จำนวนมาก) แต่คุณต้องเพิ่มบัตรเครดิตก่อน
• แทนที่การตั้งค่า ENV ของคุณในไฟล์นักเทียบท่าฟรีและเริ่มนักเทียบท่า
• เปิด terminal/cmd/powershell ในไดเรกทอรี asktube

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

ในอุดมคติ

• การใช้ VoyageAI สำหรับการฝังข้อความ
• ใช้ OpenAI และ Claude สำหรับ QA ลงทะเบียนบัญชีและสร้างคีย์ API ของคุณเอง
• แทนที่การตั้งค่า ENV ของคุณในไฟล์นักเทียบท่าในอุดมคติและเริ่มนักเทียบท่า
• เปิด terminal/cmd/powershell ในไดเรกทอรี asktube

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

ผลลัพธ์

• เปิดเว็บ: http://localhost:8080

---

สถาปัตยกรรม

การนำไปใช้จริงอาจแตกต่างจากศิลปะนี้เนื่องจากความซับซ้อน

1️⃣ดึงข้อมูลจาก URL ที่กำหนด

2️⃣จัดเก็บคำบรรยายบทที่ฝัง

3️⃣ การถาม (รวมคำถามเสริมคุณค่า)

---

- สังเกต

1. อย่าใช้สิ่งนี้เพื่อการผลิต สิ่งนี้มุ่งเป้าไปที่ผู้ใช้ปลายทางบนเครื่องท้องถิ่นของตน
2. อย่าร้องขอคุณสมบัติขั้นสูงใด ๆ เพื่อการจัดการ

? เพื่อการพัฒนา

• แบ็กเอนด์
• ส่วนหน้า

---

⁉ คำถามที่พบบ่อยและการแก้ไขปัญหา

• คำถามที่พบบ่อย

---