Whatsapp_speech_to_text

Discours WhatsApp au texte

Ceci est une application de discours pour le texte pour WhatsApp qui utilise Whisper et WhatsApp-Web.js, en cours d'exécution sur Docker

Description

Une fois authentifié sur WhatsApp Web, le travailleur transcrira tous les messages vocaux auxquels vous répondez avec la commande! Tran en utilisant Whisper. Actuellement, il est uniquement configuré pour transcrire des messages à partir de contacts enregistrés dans votre livre de contact.

À l'origine, le programme a utilisé Google Cloud Speech, mais il utilise désormais Whisper, qui est un moteur de reconnaissance vocale légère et open source.

Si vous ne souhaitez pas héberger le modèle directement sur votre ordinateur, vous pouvez utiliser la branche Main_Openai_API , qui utilise l'API OpenAI pour transcrire l'audio.

Si vous souhaitez contribuer, envoyez simplement une demande de traction.

Usage

Répondez simplement au message vocal avec lequel vous souhaitez transcrire ! Tran

Exécution du serveur

• Pour construire les images, exécutez docker-compose build
• Pour exécuter les conteneurs, exécutez docker-compose up (ne détachez pas, le QR sera affiché dans le terminal)

Configuration

• Pour choisir le modèle que vous souhaitez utiliser modifier la variable appelée Model_version sous X-Shared-Variables à l'intérieur du fichier docker-compose.yml. Modèle par défaut: minuscule
• Pour configurer le chemin d'accès et l'adresse de l'API, modifiez les variables d'environnement dans le fichier docker-compose.yml . Les valeurs par défaut sont:
  • Host_address = whisper_api
  • Chrome_data_path = "/ app / data /"
• Si vous souhaitez utiliser le code à l'extérieur de Docker, vous devrez modifier les variables Env dans le fichier index.js, pour pointer de votre adresse API.
• Si vous utilisez un GPU ADD et éditez, à vos besoins, le code suivant dans le conteneur Whisper_API

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Modification des variables responseMsgHeader et responseMsgHeaderError à l'intérieur du nœud / index.js . Vous pouvez configurer l'en-tête de message pour la réponse automatique.

FAIRE

• Transcrire uniquement si l'audio est répondu par "! Tran"
• Envoyez "Tran" de mon chat et transcrivez également l'audio. Pour l'instant, seuls les messages envoyés par contacts seront transcrits.
• Enregistrez les modèles localement
• Peut-être utiliser https://github.com/ahmetoner/whisper-asr-webservice comme API
• Ajouter un fichier environnement.

Insectes

• Pour l'instant, les fichiers qui sont plus âgés que la session ne peuvent pas être récupérés. La solution pourrait être de récupérer le fichier avec une fonction et de le mettre en cache.
  • MISE À JOUR: En raison de l'incapacité de la bibliothèque whatsApp-web.js pour récupérer les messages par ID, ce bogue ne peut pas être corrigé pour l'instant. Il y a peut-être une autre solution, mais je ne le vois pas.
    • MISE À JOUR 2: Le bogue a été corrigé à l'aide de la fonction fetchMessages() à partir de WhatsApp-Web.js, la fonction qui s'occupe de celle-ci, elle s'appelle downloadQuotedMedia()