Whatsapp_speech_to_text

WhatsApp речь в текст

Это приложение для речи к тексту для WhatsApp, которое использует Whisper и WhatsApp-Web.js, работающий на Docker

Описание

После аутентификации в WhatsApp Web работник будет транскрибировать все голосовые сообщения, на которые вы отвечаете с помощью команды! Tran, используя Whisper. В настоящее время он настроен только для транскрибирования сообщений из контактов, сохраненных в вашей контактной книге.

Первоначально программа использовала Google Cloud Speech, но теперь она использует Whisper, который представляет собой легкий двигатель распознавания речи с открытым исходным кодом.

Если вы не хотите размещать модель непосредственно на своем компьютере, вы можете использовать ветвь main_openai_api , которая использует API OpenAI для транскрибирования звука.

Если вы хотите внести свой вклад, просто отправьте запрос на привлечение.

Использование

Просто ответьте на голосовое сообщение, с которым вы хотите транскрибировать ! Tran

Запуск сервера

• Для создания изображений запустить docker-compose build
• Для запуска контейнеров запустить docker-compose up (не отсоедините, QR будет отображаться в терминале)

Конфигурация

• Чтобы выбрать модель, вы хотите использовать редактирование переменной, называемой Model_version , под x-Sheed-variables внутри файла Docker-compose.yml. Модель по умолчанию: крошечная
• Для настройки пути и адреса API редактировать переменные среды внутри файла docker-compose.yml . Значения по умолчанию:
  • Host_address = Whisper_API
  • Chrome_data_path = "/app/data/"
• Если вы хотите использовать код вне докера, вам нужно будет отредактировать переменные ENV в файле index.js, чтобы указать на ваш адрес API.
• Если вы используете графический процессор добавить и редактировать, к вашим потребностям, следующий код в контейнере Whisper_API

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Редактирование переменных responseMsgHeader и responseMsgHeaderError ответов . Вы можете настроить заголовок сообщения для автоматического ответа.

Тодо

• Справочник только в том случае, если звук отвечает "! Tran"
• Отправьте "! Tran" из моего чата, а также расшифруйте звук. На данный момент только сообщения, отправленные контактами, будут расшифрованы.
• Сохраните модели локально
• Может быть, используйте https://github.com/ahmetoner/whisper-asr-webservice как API
• Добавить файл среды.

Ошибки

• На данный момент файлы, которые старше, чем сеанс, не могут быть извлечены. Решение может состоять в том, чтобы получить файл с некоторой функцией и кэшировать его.
  • Обновление: из-за неспособности библиотеки WhatsApp-Web.js извлекать сообщения с помощью идентификатора, идентификатор, эта ошибка не может быть исправлена ​​на данный момент. Может быть, есть еще одно решение, но я этого не вижу.
    • Обновление 2: ошибка была исправлена ​​с использованием функции fetchMessages() из WhatsApp-Web.js, функция, которая обрабатывает это, называется downloadQuotedMedia()