frogbase

? FrogBase

Crie conhecimento navegável a partir de conteúdo multimídia

FrogBase (anteriormente Whisper-ui) simplifica o fluxo de trabalho download-transcribe-embed-index para conteúdo multimídia. Isso é feito vinculando conteúdo de várias plataformas (yt_dlp) com modelos de fala para texto (Whisper da OpenAI), codificadores de imagem e texto (SentenceTransformers) e lojas de incorporação (hnswlib).

️ Aviso: Esta é atualmente uma versão de pré-lançamento e é conhecida por ser muito instável. Para versões estáveis, use qualquer versão 1.x.

 from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )

Documentação Completa (WIP).

O FrogBase também vem com uma UI pronta para uso para usuários não técnicos!

sussurro-ui-update-demo.mp4

Características

FrogBase atualmente fornece funcionalidade para:

• Baixe arquivos de mídia de uma ampla variedade de plataformas (YouTube, TikTok, Vimeo, etc.) usando yt_dlp
• Transcreva streams de áudio para arquivos baixados e locais usando o Whisper da OpenAI
• Incorpore texto transcrito de segmentos de vídeo correspondentes usando transformadores de frases
• Indexe e pesquise o conteúdo incorporado usando hnswlib

O FrogBase também inclui uma UI Streamlit para fornecer uma GUI simples para a funcionalidade acima, permitindo uma experiência interativa hospedada localmente.

Início rápido

• Desenvolvedores de software
• Usuários não técnicos

Desenvolvedores de software

Esta seção é para desenvolvedores de software que desejam usar o FrogBase como um pacote python.

1. Instale ffmpeg e FrogBase

    sudo apt install ffmpeg
   pip install frogbase

2. Importe o FrogBase e use-o da seguinte maneira -

    from frogbase import FrogBase
   
   fb = FrogBase ()
   
   sources = [
      "https://www.youtube.com/watch?v=HBxn56l9WcU" ,
      "https://www.youtube.com/@hayabhay"
   ]
   
   fb . add ( sources )
   
   fb . search ( "What is the name of the squeaky frog?" )

Usuários não técnicos

Esta seção é para usuários não técnicos que desejam usar o FrogBase principalmente por meio da UI Streamlit que o acompanha.

1. Baixe a versão mais recente do FrogBase aqui e descompacte-a. Ou você também pode clonar o console git clone https://github.com/hayabhay/frogbase.git

2. Instale as dependências do FrogBase manualmente e execute a UI.

   Nota: Isso também requer que ffmpeg esteja instalado em seu sistema. Você pode instalá-lo usando sudo apt install ffmpeg no Ubuntu.

   1. Usando pip

       pip install frogbase streamlit
      streamlit run ui/01_?_Home.py

[Em breve] Instruções, ambiente para instalação usando Docker e Anaconda

Ligações

• Documentação
• Questões e discussões
• Discórdia
• História
• Roteiro
• Guia de contribuição
• Licença (MIT)