frogbase

? Base de grenouille

Créez des connaissances navigables à partir de contenu multimédia

FrogBase (anciennement Whisper-ui) simplifie le flux de travail download-transcribe-embed-index pour le contenu multimédia. Pour ce faire, il relie le contenu de diverses plates-formes (yt_dlp) avec des modèles de synthèse vocale (Whisper d'OpenAI), des encodeurs d'images et de texte (SentenceTransformers) et des magasins d'intégration (hnswlib).

️ Attention : il s'agit actuellement d'une version préliminaire et est connue pour être très instable. Pour les versions stables, veuillez utiliser n'importe quelle version 1.x.

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

Documentation complète (WIP).

FrogBase est également livré avec une interface utilisateur prête à l'emploi pour les utilisateurs non techniques !

murmure-ui-update-demo.mp4

Caractéristiques

FrogBase fournit actuellement des fonctionnalités pour :

• Téléchargez des fichiers multimédias à partir d'un large éventail de plateformes (YouTube, TikTok, Vimeo, etc.) à l'aide de yt_dlp
• Transcrivez les flux audio pour les fichiers téléchargés et locaux à l'aide de Whisper d'OpenAI
• Intégrez le texte transcrit à partir des segments vidéo correspondants à l'aide de Sentence Transformers
• Indexez et recherchez le contenu intégré à l'aide de hnswlib

FrogBase comprend également une interface utilisateur Streamlit pour fournir une interface graphique simple pour la fonctionnalité ci-dessus permettant une expérience interactive hébergée localement.

Démarrage rapide

• Développeurs de logiciels
• Utilisateurs non techniques

Développeurs de logiciels

Cette section est destinée aux développeurs de logiciels qui souhaitent utiliser FrogBase comme package Python.

1. Installez ffmpeg et FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. Importez FrogBase et utilisez-le comme suit -

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

Utilisateurs non techniques

Cette section est destinée aux utilisateurs non techniques qui souhaitent utiliser FrogBase principalement via l'interface utilisateur Streamlit qui l'accompagne.

1. Téléchargez la dernière version de FrogBase à partir d'ici et décompressez-la. Ou, vous pouvez également cloner la console git clone https://github.com/hayabhay/frogbase.git

2. Installez les dépendances FrogBase manuellement et exécutez l'interface utilisateur.

   Remarque : Cela nécessite également que ffmpeg soit installé sur votre système. Vous pouvez l'installer en utilisant sudo apt install ffmpeg sur Ubuntu.

   1. Utiliser pip

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[Prochainement] Instructions, environnement d'installation avec Docker & Anaconda

Links

• Documentation
• Problèmes et discussions
• Discorde
• Histoire
• Feuille de route
• Guide de contribution
• Licence (MIT)