asktube

AskTube - Um resumidor de vídeo do YouTube com tecnologia de IA e assistente de controle de qualidade com tecnologia Retrieval Augmented Generation (RAG)?

Execute-o inteiramente em sua máquina local com Ollama ou modelos baseados em nuvem como Claude, OpenAI, Gemini, Mistral e muito mais

---

??‍➡️ Demonstração e captura de tela

Assista à "primeira demonstração do AskTube" no YouTube

demonstração.mp4

---

? Características

• Trabalhe mesmo com vídeos sem legenda
• Sem limite de tempo de vídeo
• Apoie vários fornecedores de IA
• Foco na implementação do RAG
• Execute totalmente em sua máquina local

?? Por que esse projeto existe?

• Já vi vários repositórios GitHub oferecendo resumos baseados em IA para vídeos do YouTube, mas nenhum inclui a funcionalidade de perguntas e respostas .
• Quero implementar uma solução mais abrangente e ao mesmo tempo ganhar experiência com IA para construir meu próprio aplicativo RAG.

---

? Tecnologia

• Linguagem : Python, JS
• Servidor : [email protected], Bun@v1
• Framework/Lib : Sanic, Peewee, Pytubefix, Transformadores de frases, Sqlite, Chroma, NuxtJs/DaisyUI, etc.
• Provedor de incorporação (provedor de análise) :
  • OpenAI
  • Gêmeos
  • VoyageAI
  • Mistral
  • Transformadores de frases (locais)
• Provedor de IA :
  • OpenAI
  • Cláudio
  • Gêmeos
  • Mistral
  • Ollama (local)
• Fala para texto :
  • Sussurro mais rápido (local)
  • Montagem AI
  • OpenAI
  • Gêmeos

---

?️ Próximas tarefas

• Implementar Speech To Text para modelos de nuvem
  • Montagem AI
  • OpenAI
  • Gêmeos
• Melhorar
  • Ignore o uso do RAG para vídeos curtos
  • Solicitações de bate-papo, mensagens de bate-papo por limite de contexto
  • RAG: Implementar tradução de consulta
    • Multiconsulta
    • Fusão
    • Decomposição
    • Dê um passo para trás
    • HyDE

---

Como correr?

Na primeira execução, o programa pode ficar um pouco lento devido à necessidade de instalação de modelos locais.

Execute em sua máquina

• Certifique-se de ter instalado:

  • Pitão 3.10

    • Usuário do Windows , faça download aqui
    • Usuário Linux, MacOS , use homebrew ou o comando do pacote de instalação (apt, dnf, etc)
    • Ou use conda

  • Poesia

    • Usuário do Windows abra Powershell e execute:

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Usuário Linux, MacOS abre Terminal e executa:

    curl -sSL https://install.python-poetry.org | python3 -

  • Pão

  • ffmpeg

    • Usuário MacOS

    brew install ffmpeg

    • Usuário Linux

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows , siga este tutorial Instale o ffmpeg para Windows

• Clonar repositório

  git clone https://github.com/jonaskahn/asktube.git

• Crie o arquivo .env no diretório asktube/engine :

  • Localmente
  • Gratuito com algumas limitações

• Executar programa

  • Pode ser necessário executar primeiro:

  poetry env use python

  • Abra terminal/cmd/powershell no diretório asktube/engine e execute:

  poetry install && poetry run python engine/server.py

  • Abra terminal/cmd/powershell no diretório asktube/web e execute:

  bun install && bun run dev

• Web aberta: http://localhost:3000

Com docker (em processo)

Antes de começar

1. Eu construí esses serviços para imagens docker, mas se você quiser construir imagens locais, execute build.local.bat para Windows ou build.local.amd64.sh ou build.local.aarch64.sh para MacOS , Linux
2. Se você possui uma GPU (cuda ou rocm), consulte as configurações ENV acima, altere os parâmetros como acima

Localmente

• Use o arquivo de composição local.yaml para iniciar
• Abra terminal/cmd/powershell no diretório asktube

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• Após a execução, você precisa instalar o modelo Ollama qwen2 e llama3.1 para controle de qualidade

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

Gratuito (com limite de taxa)

• Você precisa acessar o Google Gemini e o VoyageAI para registrar uma conta e gerar suas próprias chaves de API:
  • Gemini é gratuito com sua Conta do Google
  • VoyageAI (recomendado por Claude) oferece 50 milhões de tokens grátis (uma quantia enorme), mas você precisa adicionar seu cartão de crédito primeiro.
• Substitua sua configuração ENV no arquivo docker gratuitamente e inicie o docker
• Abra terminal/cmd/powershell no diretório asktube

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

Ideal

• Usando VoyageAI para incorporar textos
• Usando OpenAI e Claude para controle de qualidade, registre uma conta e gere suas próprias chaves de API
• Substitua sua configuração ENV no arquivo docker ideal e inicie o docker
• Abra terminal/cmd/powershell no diretório asktube

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

Resultado

• Web aberta: http://localhost:8080

---

Arquitetura

A implementação real pode diferir desta arte devido à sua complexidade.

1️⃣ Extraia dados de determinado URL

2️⃣ Armazenar legendas de capítulos incorporadas

3️⃣ Perguntar (pergunta de enriquecimento incluída)

---

? Perceber

1. Não use isso para produção. O objetivo era usuários finais em suas máquinas locais.
2. Não solicite nenhum recurso avançado de gerenciamento.

✍? Para desenvolvimento

• Back-end
• Front-end

---

⁉️ Perguntas frequentes e solução de problemas

• Controle de qualidade total

---