Whatsapp_speech_to_text

Discurso de whatsapp al texto

Esta es una aplicación de voz a texto para WhatsApp que usa Whisper y WhatsApp-Web.js, que se ejecuta en Docker

Descripción

Una vez autenticado en WhatsApp Web, el trabajador transcribirá todos los mensajes de voz a los que responde con el comando! Tran usando Whisper. Actualmente, solo está configurado para transcribir mensajes de contactos guardados en su libro de contacto.

Originalmente, el programa usó el discurso en la nube de Google, pero ahora usa Whisper, que es un motor de reconocimiento de voz ligero y de código abierto.

Si no desea alojar el modelo directamente en su computadora, puede usar la rama Main_openai_api , que utiliza la API OpenAI para transcribir el audio.

Si desea contribuir, simplemente envíe una solicitud de extracción.

Uso

Solo responde al mensaje de voz con el que desea transcribir ! Tran

Ejecutando el servidor

• Para construir las imágenes, ejecuten docker-compose build
• Para ejecutar los contenedores, ejecuten docker-compose up (no se separe, el QR se mostrará en el terminal)

Configuración

• Para elegir el modelo que desea usar, editar la variable llamada model_version en Variables de S-Shared Schared dentro del archivo Docker-Compose.yml. Modelo predeterminado: Tiny
• Para configurar la ruta y la dirección API, edite las variables de entorno dentro del archivo docker-compose.yml . Los valores predeterminados son:
  • Host_address = whisper_api
  • Chrome_data_path = "/app/data/"
• Si desea usar el código externo Outside Docker, deberá editar las variables ENV en el archivo index.js, para señalar su dirección API.
• Si está utilizando un GPU Agregar y Editar, a sus necesidades, el siguiente código en el contenedor Whisper_api

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Edición de las variables responseMsgHeader y responseMsgHeaderError dentro del nodo/index.js . Puede configurar el encabezado del mensaje para la respuesta automática.

HACER

• Solo transcribe si el audio se responde con "! Tran"
• Enviar "! Tran" desde mi chat y también transcribe el audio. Por ahora solo se transcribirán los mensajes enviados por contactos.
• Guardar los modelos localmente
• Tal vez use https://github.com/ahmetoner/whisper-asr-webservice como la API
• Agregar archivo de entorno.

Insectos

• Por ahora, los archivos que son más antiguos que la sesión no se pueden obtener. La solución puede ser recuperar el archivo con alguna función y almacenarlo en caché.
  • Actualización: debido a la incapacidad de la biblioteca whatsapp-web.js para recuperar mensajes por identificación, este error no se puede solucionar por ahora. Tal vez hay otra solución, pero no la veo.
    • ACTUALIZACIÓN 2: El error se ha solucionado utilizando la función fetchMessages() de whatsapp-web.js, la función que maneja esto se llama downloadQuotedMedia()