asktube

AskTube: ¿un resumidor de vídeos de YouTube con tecnología de inteligencia artificial y un asistente de control de calidad con tecnología de recuperación de generación aumentada (RAG)?

Ejecútelo completamente en su máquina local con Ollama o modelos basados ​​en la nube como Claude, OpenAI, Gemini, Mistral y más.

---

??‍➡️ Demostración y captura de pantalla

Mire la "Primera demostración de AskTube" en YouTube

demostración.mp4

---

? Características

• Trabaja incluso con videos sin subtítulos
• Sin límite de tiempo de vídeo
• Admite múltiples proveedores de IA
• Centrarse en la implementación de RAG
• Ejecútelo completamente en su máquina local

?? ¿Por qué existe este proyecto?

• He visto varios repositorios de GitHub que ofrecen resúmenes basados ​​en inteligencia artificial para videos de YouTube, pero ninguno incluye la función de preguntas y respuestas .
• Quiero implementar una solución más completa y al mismo tiempo adquirir experiencia con IA para crear mi propia aplicación RAG.

---

? Tecnología

• Idioma : Python, JS
• Servidor : [email protected], Bun@v1
• Marco/Lib : Sanic, Peewee, Pytubefix, Sentence Transformers, Sqlite, Chroma, NuxtJs/DaisyUI, etc.
• Proveedor de incrustación (proveedor de análisis) :
  • Abierto AI
  • Géminis
  • ViajeAI
  • Mistral
  • Transformadores de oraciones (local)
• Proveedor de IA :
  • Abierto AI
  • claudio
  • Géminis
  • Mistral
  • Ollamá (Local)
• Habla a texto :
  • Susurro más rápido (local)
  • AsambleaAI
  • Abierto AI
  • Géminis

---

?️ Siguientes tareas pendientes

• Implementar voz a texto para modelos en la nube
  • AsambleaAI
  • Abierto AI
  • Géminis
• Mejorar
  • Evite el uso de RAG para videos cortos
  • Avisos de chat, mensajes de chat por límite de contexto
  • RAG: implementar traducción de consultas
    • Multiconsulta
    • Fusión
    • Descomposición
    • Paso atrás
    • Hyde

---

¿Cómo correr?

Por primera vez, el programa puede ser un poco lento debido a que necesitan instalar modelos locales.

Ejecutar en tu máquina

• Asegúrese de haber instalado:

  • Pitón 3.10

    • Usuario de Windows , descargue aquí
    • Usuario de Linux, MacOS , utilice homebrew o el comando de su paquete de instalación (apt, dnf, etc)
    • O usar conda

  • Poesía

    • El usuario de Windows abre Powershell y ejecuta:

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Usuario de Linux, MacOS abre Terminal y ejecuta:

    curl -sSL https://install.python-poetry.org | python3 -

  • Bollo

  • ffmpeg

    • Usuario de MacOS

    brew install ffmpeg

    • Usuario de Linux

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows , siga este tutorial Instale ffmpeg para Windows

• repositorio de clones

  git clone https://github.com/jonaskahn/asktube.git

• Cree el archivo .env en el directorio asktube/engine :

  • En la zona
  • Gratis con algunas limitaciones

• Ejecutar programa

  • Es posible que tengas que ejecutar primero:

  poetry env use python

  • Abra terminal/cmd/powershell en el directorio asktube/engine , luego ejecute:

  poetry install && poetry run python engine/server.py

  • Abra terminal/cmd/powershell en el directorio asktube/web , luego ejecute:

  bun install && bun run dev

• Web abierta: http://localhost:3000

Con docker (En proceso)

Antes de comenzar

1. Creé estos servicios para imágenes de Docker, pero si desea crear imágenes locales, ejecute build.local.bat para Windows o build.local.amd64.sh o build.local.aarch64.sh para MacOS , Linux
2. Si tiene una GPU (cuda o rocm), consulte la configuración ENV anterior, cambie los parámetros como se muestra arriba

En la zona

• Utilice el archivo de redacción local.yaml para comenzar
• Abra terminal/cmd/powershell en el directorio de asktube

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• Después de ejecutar, necesita instalar Ollama modelo qwen2 y llama3.1 para control de calidad.

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

Gratis (con límite de tarifa)

• Debe acceder a Google Gemini y VoyageAI para registrar la cuenta y generar sus propias claves API:
  • Gemini es gratis con tu cuenta de Google
  • VoyageAI (recomendado por Claude) te ofrece 50 millones de tokens gratis (una cantidad enorme), pero primero debes agregar tu tarjeta de crédito.
• Reemplace su configuración ENV en el archivo acoplable gratis e inicie la ventana acoplable
• Abra terminal/cmd/powershell en el directorio de asktube

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

Ideal

• Usando VoyageAI para incrustar textos
• Usando OpenAI y Claude para control de calidad, registre una cuenta y genere sus propias claves API
• Reemplace su configuración ENV en el archivo acoplable ideal e inicie la ventana acoplable
• Abra terminal/cmd/powershell en el directorio de asktube

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

Resultado

• Web abierta: http://localhost:8080

---

Arquitectura

La implementación real puede diferir de este arte debido a su complejidad.

1️⃣ Extrae datos de la URL dada

2️⃣ Almacenamiento de subtítulos de capítulos integrados

3️⃣ Hacer (pregunta enriquecida incluida)

---

? Aviso

1. No utilice esto para la producción. Esto estaba dirigido a usuarios finales en sus máquinas locales.
2. No solicite ninguna función avanzada para la gestión.

✍? Para el desarrollo

• backend
• Interfaz

---

⁉️ Preguntas frecuentes y solución de problemas

• Preguntas Frecuentes

---