หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

- กบฐาน

สร้างองค์ความรู้ที่สามารถนำทางได้จากเนื้อหามัลติมีเดีย

FrogBase (ก่อนหน้านี้กระซิบ-ui) ช่วยลดความยุ่งยากในเวิร์กโฟลว์ download-transcribe-embed-index สำหรับเนื้อหามัลติมีเดีย โดยการเชื่อมโยงเนื้อหาจากแพลตฟอร์มต่างๆ (yt_dlp) ด้วยโมเดลคำพูดเป็นข้อความ (Whisper ของ OpenAI) ตัวเข้ารหัสรูปภาพและข้อความ (SentenceTransformers) และการฝังร้านค้า (hnswlib)

คำเตือน: ขณะนี้นี่เป็นเวอร์ชันก่อนเผยแพร่และเป็นที่ทราบกันว่าไม่เสถียรมาก สำหรับรุ่นที่เสถียร โปรดใช้เวอร์ชัน 1.x ใดก็ได้ 

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

เอกสารฉบับเต็ม (WIP)

FrogBase ยังมาพร้อมกับ UI ที่พร้อมใช้งานสำหรับผู้ใช้ที่ไม่ใช่ด้านเทคนิค!

กระซิบ-ui-update-demo.mp4

คุณสมบัติ

ขณะนี้ FrogBase มีฟังก์ชันการทำงานเพื่อ:

  • ดาวน์โหลดไฟล์มีเดียจากแพลตฟอร์มที่หลากหลาย (YouTube, TikTok, Vimeo ฯลฯ) โดยใช้ yt_dlp
  • ถอดเสียงสตรีมสำหรับไฟล์ที่ดาวน์โหลดและในเครื่องโดยใช้ Whisper ของ OpenAI
  • ฝังข้อความที่ถอดเสียงจากส่วนวิดีโอที่เกี่ยวข้องโดยใช้ Sentence Transformers
  • จัดทำดัชนีและค้นหาเนื้อหาที่ฝังไว้โดยใช้ hnswlib

FrogBase ยังมี Streamlit UI เพื่อจัดเตรียม GUI อย่างง่ายสำหรับฟังก์ชันการทำงานข้างต้นที่เปิดใช้งานประสบการณ์เชิงโต้ตอบที่โฮสต์ในเครื่อง

เริ่มต้นอย่างรวดเร็ว

  • นักพัฒนาซอฟต์แวร์
  • ผู้ใช้ที่ไม่ใช่ด้านเทคนิค

นักพัฒนาซอฟต์แวร์

ส่วนนี้มีไว้สำหรับนักพัฒนาซอฟต์แวร์ที่ต้องการใช้ FrogBase เป็นแพ็คเกจ Python

  1. ติดตั้ง ffmpeg และ FrogBase 

     sudo apt install ffmpeg
pip install frogbase

  2. นำเข้า FrogBase และใช้งานดังนี้ - 

     from frogbase import FrogBase

fb = FrogBase ()

sources = [
   "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
   "https://www.youtube.com/@hayabhay"
]

fb . add ( sources )

fb . search ( "What is the name of the squeaky frog?" )

ผู้ใช้ที่ไม่ใช่ด้านเทคนิค

ส่วนนี้มีไว้สำหรับผู้ใช้ที่ไม่ใช่ด้านเทคนิคที่ต้องการใช้ FrogBase เป็นหลักผ่าน Streamlit UI ที่ให้มาด้วย

  1. ดาวน์โหลด FrogBase รุ่นล่าสุดได้จากที่นี่และแตกไฟล์ หรือคุณสามารถโคลน console git clone https://github.com/hayabhay/frogbase.git

  2. ติดตั้งการพึ่งพา FrogBase ด้วยตนเองและเรียกใช้ UI

    หมายเหตุ: สิ่งนี้จำเป็นต้องติดตั้ง ffmpeg บนระบบของคุณด้วย คุณสามารถติดตั้งได้โดยใช้ sudo apt install ffmpeg บน Ubuntu

    1. การใช้ pip 

       pip install frogbase streamlit
streamlit run ui/01_?_Home.py

[เร็วๆ นี้] คำแนะนำ สภาพแวดล้อมสำหรับการติดตั้งโดยใช้ Docker & Anaconda

ลิงค์

  • เอกสารประกอบ
  • ปัญหาและการสนทนา
  • ความไม่ลงรอยกัน
  • ประวัติศาสตร์
  • แผนการทำงาน
  • คู่มือการมีส่วนร่วม
  • ใบอนุญาต (เอ็มไอที)
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด