Whatsapp_speech_to_text

テキストへのwhatsappスピーチ

これは、WhatsAppのスピーチツーテキストアプリケーションで、WhisperとWhatsApp-Web.jsを使用し、Dockerで実行されています

説明

WhatsApp Webで認証されると、ワーカーは、Whisperを使用してコマンド！Tranで返信するすべての音声メッセージを転写します。現在、連絡先帳に保存されている連絡先からのメッセージを転写するようにのみ構成されています。

もともと、このプログラムはGoogle Cloud Speechを使用していましたが、今では軽量のオープンソースの音声認識エンジンであるWhisperを使用しています。

モデルをコンピューターで直接ホストしたくない場合は、OpenAI APIを使用してオーディオを転写するMain_openai_Apiブランチを使用できます。

貢献したい場合は、プルリクエストを送信してください。

使用法

転写したい音声メッセージに返信してください！tran

サーバーの実行

• 画像を構築するにはdocker-compose buildを実行します
• コンテナを実行するには、 docker-compose upを実行します（デタッチしないでください、QRは端末に表示されます）

構成

• 使用するモデルを選択するには、ファイルDocker-Compose.yml内のX-shared-Variablesの下でモデル_versionと呼ばれる変数を編集します。デフォルトモデル： Tiny
• パスとAPIアドレスを構成するにはdocker-compose.ymlファイル内の環境変数を編集します。デフォルト値は次のとおりです。
  • host_address = whisper_api
  • Chrome_data_path = "/app/data/"
• Dockerの外側のコードを使用する場合は、index.jsファイルのenv変数を編集して、APIアドレスを指す必要があります。
• GPUの追加と編集を使用している場合、ニーズに合わせて、次のコードがwhisper_apiコンテナに

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Node/index.js内の変数responseMsgHeaderおよびresponseMsgHeaderErrorの編集。自動応答のメッセージヘッダーをセットアップできます。

トト

• オーディオが「！tran」で返信された場合にのみ転写します
• 私のチャットから「！tran」を送信し、音声も書き起こします。今のところ、連絡先によって送信されるメッセージのみが転写されます。
• モデルをローカルに保存します
• https://github.com/ahmetoner/whisper-asr-webserviceをAPIとして使用してください
• 環境ファイルを追加します。

バグ

• 今のところ、セッションよりも古いファイルを取得できません。解決策は、何らかの機能を使用してファイルを取得し、キャッシュすることである可能性があります。
  • 更新：ライブラリWhatsApp-web.jsがIDでメッセージを取得できないため、このバグは今のところ修正できません。別の解決策があるかもしれませんが、私はそれを見ません。
    • 更新2：バグは、whatsapp-web.jsの関数fetchMessages()を使用して修正されましたdownloadQuotedMedia()