frogbase

؟ FrogBase

إنشاء معرفة قابلة للملاحة من محتوى الوسائط المتعددة

يعمل FrogBase (المعروف سابقًا باسم Whisper-ui) على تبسيط سير عمل download-transcribe-embed-index لمحتوى الوسائط المتعددة. وهو يفعل ذلك عن طريق ربط المحتوى من منصات مختلفة (yt_dlp) بنماذج تحويل الكلام إلى نص (OpenAI's Whisper)، وبرامج تشفير الصور والنصوص (SentenceTransformers)، ومخازن التضمين (hnswlib).

️ تحذير: هذا حاليًا إصدار تجريبي ومن المعروف أنه غير مستقر للغاية. بالنسبة للإصدارات المستقرة، يرجى استخدام أي إصدارات 1.x.

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

التوثيق الكامل (WIP).

يأتي FrogBase أيضًا مزودًا بواجهة مستخدم جاهزة للاستخدام للمستخدمين غير التقنيين!

Whisper-ui-update-demo.mp4

سمات

يوفر FrogBase حاليًا وظائف لـ:

• قم بتنزيل ملفات الوسائط من مجموعة واسعة من المنصات (YouTube، وTikTok، وVimeo، وما إلى ذلك) باستخدام yt_dlp
• قم بنسخ التدفقات الصوتية للملفات التي تم تنزيلها والمحلية باستخدام OpenAI's Whisper
• قم بتضمين النص المكتوب من مقاطع الفيديو المقابلة باستخدام محولات الجملة
• قم بفهرسة المحتوى المضمن والبحث فيه باستخدام hnswlib

يتضمن FrogBase أيضًا واجهة مستخدم Streamlit لتوفير واجهة مستخدم رسومية بسيطة للوظائف المذكورة أعلاه، مما يتيح تجربة تفاعلية مستضافة محليًا.

بداية سريعة

• مطورو البرمجيات
• المستخدمين غير التقنيين

مطورو البرمجيات

هذا القسم مخصص لمطوري البرامج الذين يرغبون في استخدام FrogBase كحزمة بايثون.

1. قم بتثبيت ffmpeg وFrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. قم باستيراد FrogBase واستخدمه على النحو التالي -

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

المستخدمين غير التقنيين

هذا القسم مخصص للمستخدمين غير التقنيين الذين يرغبون في استخدام FrogBase بشكل أساسي من خلال واجهة المستخدم Streamlit المصاحبة.

1. قم بتنزيل أحدث إصدار من FrogBase من هنا وقم بفك ضغطه. أو يمكنك أيضًا استنساخ console git clone https://github.com/hayabhay/frogbase.git

2. قم بتثبيت تبعيات FrogBase يدويًا وتشغيل واجهة المستخدم.

   ملاحظة: يتطلب هذا أيضًا تثبيت ffmpeg على نظامك. يمكنك تثبيته باستخدام sudo apt install ffmpeg على Ubuntu.

   1. باستخدام النقطة

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[قريبًا] تعليمات وبيئة التثبيت باستخدام Docker وAnaconda

روابط

• التوثيق
• القضايا والمناقشات
• الفتنة
• تاريخ
• خريطة الطريق
• دليل المساهمة
• الترخيص (معهد ماساتشوستس للتكنولوجيا)