Создавайте удобные для навигации знания из мультимедийного контента
FrogBase (ранее — шепот-ui) упрощает рабочий процесс download-transcribe-embed-index
для мультимедийного контента. Это достигается путем связывания контента с различных платформ (yt_dlp) с моделями преобразования речи в текст (Whisper OpenAI), кодировщиками изображений и текста (SentenceTransformers) и встроенными хранилищами (hnswlib).
️ Предупреждение: в настоящее время это предварительная версия, которая, как известно, очень нестабильна. Для стабильных выпусков используйте любые версии 1.x.
from frogbase import FrogBase
fb = FrogBase ()
fb . demo ()
fb . search ( "What is the name of the squeaky frog?" )
Полная документация (НЗП).
FrogBase также поставляется с готовым пользовательским интерфейсом для нетехнических пользователей!
FrogBase в настоящее время предоставляет следующие функции:
FrogBase также включает пользовательский интерфейс Streamlit, обеспечивающий простой графический интерфейс для вышеуказанных функций, обеспечивающий локальное интерактивное взаимодействие.
Этот раздел предназначен для разработчиков программного обеспечения, которые хотят использовать FrogBase в качестве пакета Python.
Установите ffmpeg
и FrogBase.
sudo apt install ffmpeg
pip install frogbase
Импортируйте FrogBase и используйте его следующим образом:
from frogbase import FrogBase
fb = FrogBase ()
sources = [
"https://www.youtube.com/watch?v=HBxn56l9WcU" ,
"https://www.youtube.com/@hayabhay"
]
fb . add ( sources )
fb . search ( "What is the name of the squeaky frog?" )
Этот раздел предназначен для нетехнических пользователей, которые хотят использовать FrogBase в первую очередь через прилагаемый пользовательский интерфейс Streamlit.
Загрузите последнюю версию FrogBase отсюда и разархивируйте ее. Или вы также можете клонировать console git clone https://github.com/hayabhay/frogbase.git
Установите зависимости FrogBase вручную и запустите пользовательский интерфейс.
Примечание. Для этого также необходимо, чтобы в вашей системе был установлен
ffmpeg
. Вы можете установить его с помощьюsudo apt install ffmpeg
в Ubuntu.
Использование пипса
pip install frogbase streamlit
streamlit run ui/01_?_Home.py
[Скоро] Инструкция, среда для установки с использованием Docker & Anaconda