frogbase

? FrogBase

Erstellen Sie navigierbares Wissen aus Multimedia-Inhalten

FrogBase (früher whisper-ui) vereinfacht den Workflow download-transcribe-embed-index von Multimedia-Inhalten. Dies geschieht durch die Verknüpfung von Inhalten verschiedener Plattformen (yt_dlp) mit Speech-to-Text-Modellen (Whisper von OpenAI), Bild- und Text-Encodern (SentenceTransformers) und Einbettungsspeichern (hnswlib).

️ Warnung: Dies ist derzeit eine Vorabversion und bekanntermaßen sehr instabil. Für stabile Versionen verwenden Sie bitte alle 1.x-Versionen.

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

Vollständige Dokumentation (WIP).

FrogBase verfügt außerdem über eine gebrauchsfertige Benutzeroberfläche für technisch nicht versierte Benutzer!

whisper-ui-update-demo.mp4

Merkmale

FrogBase bietet derzeit Funktionen für:

• Laden Sie Mediendateien von einer Vielzahl von Plattformen (YouTube, TikTok, Vimeo usw.) mit yt_dlp herunter
• Transkribieren Sie Audiostreams für heruntergeladene und lokale Dateien mit Whisper von OpenAI
• Betten Sie transkribierten Text aus entsprechenden Videosegmenten mithilfe von Sentence Transformers ein
• Indizieren und durchsuchen Sie den eingebetteten Inhalt mit hnswlib

FrogBase enthält außerdem eine Streamlit-Benutzeroberfläche, um eine einfache GUI für die oben genannten Funktionen bereitzustellen und ein lokal gehostetes, interaktives Erlebnis zu ermöglichen.

Schnellstart

• Softwareentwickler
• Nicht-technische Benutzer

Softwareentwickler

Dieser Abschnitt richtet sich an Softwareentwickler, die FrogBase als Python-Paket verwenden möchten.

1. Installieren Sie ffmpeg und FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. Importieren Sie FrogBase und verwenden Sie es wie folgt:

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

Nicht-technische Benutzer

Dieser Abschnitt richtet sich an technisch nicht versierte Benutzer, die FrogBase hauptsächlich über die zugehörige Streamlit-Benutzeroberfläche verwenden möchten.

1. Laden Sie hier die neueste Version von FrogBase herunter und entpacken Sie sie. Alternativ können Sie auch den console git clone https://github.com/hayabhay/frogbase.git klonen

2. Installieren Sie FrogBase-Abhängigkeiten manuell und führen Sie die Benutzeroberfläche aus.

   Hinweis: Dazu muss auch ffmpeg auf Ihrem System installiert sein. Sie können es mit sudo apt install ffmpeg unter Ubuntu installieren.

   1. Pip verwenden

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[In Kürze erhältlich] Anleitung, Umgebung für die Installation mit Docker & Anaconda

Links

• Dokumentation
• Probleme und Diskussionen
• Zwietracht
• Geschichte
• Roadmap
• Mitwirkender Leitfaden
• Lizenz (MIT)