frogbase

? RanaBase

Cree conocimiento navegable a partir de contenido multimedia

FrogBase (anteriormente Whisper-ui) simplifica el flujo de trabajo download-transcribe-embed-index para contenido multimedia. Lo hace vinculando contenido de varias plataformas (yt_dlp) con modelos de voz a texto (Whisper de OpenAI), codificadores de imágenes y texto (SentenceTransformers) y almacenes integrados (hnswlib).

️ Advertencia: esta es actualmente una versión preliminar y se sabe que es muy inestable. Para versiones estables, utilice cualquier versión 1.x.

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

Documentación completa (WIP).

¡FrogBase también viene con una interfaz de usuario lista para usar para usuarios no técnicos!

susurro-ui-actualización-demo.mp4

Características

Actualmente, FrogBase proporciona funcionalidad para:

• Descargue archivos multimedia de una amplia gama de plataformas (YouTube, TikTok, Vimeo, etc.) usando yt_dlp
• Transcribe transmisiones de audio para archivos locales y descargados usando Whisper de OpenAI
• Incruste texto transcrito de los segmentos de video correspondientes usando Sentence Transformers
• Indexe y busque el contenido incrustado usando hnswlib

FrogBase también incluye una interfaz de usuario Streamlit para proporcionar una GUI simple para la funcionalidad anterior que permite una experiencia interactiva alojada localmente.

Inicio rápido

• Desarrolladores de software
• Usuarios no técnicos

Desarrolladores de software

Esta sección es para desarrolladores de software que desean utilizar FrogBase como un paquete de Python.

1. Instalar ffmpeg y FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. Importe FrogBase y utilícelo de la siguiente manera:

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

Usuarios no técnicos

Esta sección es para usuarios no técnicos que desean utilizar FrogBase principalmente a través de la interfaz de usuario Streamlit que la acompaña.

1. Descargue la última versión de FrogBase desde aquí y descomprímala. O también puedes clonar la console git clone https://github.com/hayabhay/frogbase.git

2. Instale las dependencias de FrogBase manualmente y ejecute la interfaz de usuario.

   Nota: Esto también requiere que ffmpeg esté instalado en su sistema. Puedes instalarlo usando sudo apt install ffmpeg en Ubuntu.

   1. Usando pepita

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[Próximamente] Instrucciones, entorno para la instalación usando Docker y Anaconda

Campo de golf

• Documentación
• Problemas y debates
• Discordia
• Historia
• Hoja de ruta
• Guía contribuyente
• Licencia (MIT)