asktube

AskTube - Un résumé vidéo YouTube alimenté par l'IA et un assistant d'assurance qualité optimisé par Retrieval Augmented Generation (RAG) ?

Exécutez-le entièrement sur votre machine locale avec Ollama ou des modèles basés sur le cloud comme Claude, OpenAI, Gemini, Mistral, etc.

---

??‍➡️ Démo et capture d'écran

Regardez « Première démo d'AskTube » sur YouTube

démo.mp4

---

? Caractéristiques

• Travaillez même avec des vidéos sans sous-titres
• Durée vidéo sans limite
• Prise en charge de plusieurs fournisseurs d'IA
• Focus sur la mise en œuvre de RAG
• Exécuté entièrement sur votre ordinateur local

?? Pourquoi ce projet existe-t-il ?

• J'ai vu plusieurs référentiels GitHub proposant des résumés basés sur l'IA pour les vidéos YouTube, mais aucun n'inclut la fonctionnalité de questions-réponses .
• Je souhaite mettre en œuvre une solution plus complète tout en acquérant de l'expérience avec l'IA pour créer ma propre application RAG.

---

? Technologie

• Langage : Python, JS
• Serveur : [email protected], Bun@v1
• Framework/Lib : Sanic, Peewee, Pytubefix, Sentence Transformers, Sqlite, Chroma, NuxtJs/DaisyUI, etc.
• Fournisseur d'intégration (fournisseur d'analyse) :
  • OpenAI
  • Gémeaux
  • VoyageAI
  • Mistral
  • Transformateurs de phrases (local)
• Fournisseur d'IA :
  • OpenAI
  • Claude
  • Gémeaux
  • Mistral
  • Ollama (local)
• Discours en texte :
  • Chuchotement plus rapide (local)
  • AssembléeAI
  • OpenAI
  • Gémeaux

---

?️ Tâches suivantes à faire

• Implémenter Speech To Text pour les modèles cloud
  • AssembléeAI
  • OpenAI
  • Gémeaux
• Améliorer
  • Évitez d'utiliser RAG pour les courtes vidéos
  • Invites de chat, messages de chat par limite de contexte
  • RAG : implémenter la traduction des requêtes
    • Requête multiple
    • Fusion
    • Décomposition
    • Reculer
    • HyDE

---

Comment courir ?

Pour la première fois, le programme peut être un peu lent car ils doivent installer des modèles locaux.

Exécutez sur votre machine

• Assurez-vous d'avoir installé :

  • Python3.10

    • Utilisateur Windows , veuillez télécharger ici
    • Linux, utilisateur MacOS , veuillez utiliser homebrew ou la commande de votre package d'installation (apt, dnf, etc)
    • Ou utilisez conda

  • Poésie

    • L'utilisateur Windows ouvre Powershell et exécute :

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux, utilisateur MacOS, ouvrez Terminal et exécutez :

    curl -sSL https://install.python-poetry.org | python3 -

  • Chignon

  • ffmpeg

    • Utilisateur MacOS

    brew install ffmpeg

    • Utilisateur Linux

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows , veuillez suivre ce tutoriel Installer ffmpeg pour Windows

• Dépôt de clones

  git clone https://github.com/jonaskahn/asktube.git

• Créez le fichier .env dans le répertoire asktube/engine :

  • Localement
  • Gratuit avec quelques limitations

• Exécuter le programme

  • Vous devrez peut-être d'abord exécuter :

  poetry env use python

  • Ouvrez terminal/cmd/powershell dans le répertoire asktube/engine , puis exécutez :

  poetry install && poetry run python engine/server.py

  • Ouvrez terminal/cmd/powershell dans le répertoire asktube/web , puis exécutez :

  bun install && bun run dev

• Web ouvert : http://localhost:3000

Avec docker (En cours)

Avant de commencer

1. J'ai construit ces services sur des images Docker, mais si vous souhaitez créer des images locales, veuillez exécuter build.local.bat pour Windows ou build.local.amd64.sh ou build.local.aarch64.sh pour MacOS , Linux
2. Si vous disposez d'un GPU (cuda ou rocm), veuillez vous référer aux paramètres ENV ci-dessus, modifiez les paramètres comme ci-dessus

Localement

• Utilisez le fichier de composition local.yaml pour démarrer
• Ouvrez terminal/cmd/powershell dans le répertoire asktube

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• Après l'exécution, vous devez installer Ollama modèle qwen2 et llama3.1 pour le contrôle qualité.

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

Gratuit (avec limite de tarif)

• Vous devez accéder à Google Gemini et VoyageAI pour créer un compte et générer vos propres clés API :
  • Gemini est gratuit avec votre compte Google
  • VoyageAI (recommandé par Claude) vous offre 50 millions de jetons gratuits (un montant énorme) mais vous devez d'abord ajouter votre carte de crédit.
• Remplacez gratuitement votre paramètre ENV dans le fichier Docker et démarrez Docker
• Ouvrez terminal/cmd/powershell dans le répertoire asktube

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

Idéal

• Utiliser VoyageAI pour intégrer des textes
• À l'aide OpenAI et Claude pour le contrôle qualité, enregistrez un compte et générez vos propres clés API
• Remplacez votre paramètre ENV dans le fichier Docker idéal et démarrez Docker
• Ouvrez terminal/cmd/powershell dans le répertoire asktube

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

Résultat

• Web ouvert : http://localhost:8080

---

Architecture

La mise en œuvre réelle peut différer de cet art en raison de sa complexité.

1️⃣ Extraire les données de l'URL donnée

2️⃣ Stockage des sous-titres de chapitre intégrés

3️⃣ Poser (question enrichie incluse)

---

? Avis

1. Ne l'utilisez pas pour la production. Cela visait les utilisateurs finaux sur leurs machines locales.
2. Ne demandez aucune fonctionnalité avancée pour la gestion.

✍? Pour le développement

• Back-end
• L'extrémité avant

---

⁉️ FAQ et dépannage

• FQA

---