Whatsapp_speech_to_text

WhatsApp -Rede zum Text

Dies ist eine Sprachanwendung für WhatsApp, die WhatsApp-Web.js verwendet, die auf Docker ausgeführt werden

Beschreibung

Sobald der Arbeiter im WhatsApp -Web authentifiziert wurde, transkribiert er alle Sprachnachrichten, auf die Sie mit dem Befehl! Tran mit Whisper antworten. Derzeit ist es nur so konfiguriert, dass Nachrichten von Kontakten transkribieren, die in Ihrem Kontaktbuch gespeichert sind.

Ursprünglich verwendete das Programm Google Cloud Speech, aber jetzt verwendet es Whisper, eine leichte Open-Source-Spracherkennungsmaschine.

Wenn Sie das Modell nicht direkt auf Ihrem Computer hosten möchten, können Sie den Zweig main_openai_api verwenden, der die OpenAI -API verwendet, um das Audio zu transkribieren.

Wenn Sie einen Beitrag leisten möchten, senden Sie einfach eine Pull -Anfrage.

Verwendung

Antworten Sie einfach auf die Sprachnachricht, mit der Sie transkribieren möchten ! Tran

Ausführen des Servers

• Um die Bilder zu erstellen, laufen docker-compose build
• Um die Container auszuführen, werden docker-compose up ausgeführt (nicht abnehmen, das QR wird im Terminal angezeigt).

Konfiguration

• Um das Modell auszuwählen, möchten Sie die Variable namens model_version unter x-Shared-Variablen in der Datei docker-compose.yml bearbeiten. Standardmodell: winzig
• Um den Pfad und die API-Adresse zu konfigurieren, bearbeiten Sie die Umgebungsvariablen in der Datei docker-compose.yml . Die Standardwerte sind:
  • Host_address = wiHSPER_API
  • Chrome_data_path = "/app/data/"
• Wenn Sie den Code Outside Docker verwenden möchten, müssen Sie die Env -Variablen in der Datei index.js bearbeiten, um auf Ihre API -Adresse zu verweisen.
• Wenn Sie ein GPU -Hinzufügen und Bearbeiten zu Ihren Anforderungen verwenden

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Bearbeiten der Variablen responseMsgHeader und responseMsgHeaderError im Knoten/index.js . Sie können den Nachrichtenheader für die automatische Antwort einrichten.

Todo

• Nur transkribieren Sie, wenn das Audio mit "! Tran" beantwortet wird.
• Senden Sie "! Tran" aus meinem Chat und transkribieren Sie auch das Audio. Im Moment werden nur Nachrichten, die von Kontakten gesendet werden, transkribiert.
• Speichern Sie die Modelle lokal
• Vielleicht verwenden
• Umgebungsdatei hinzufügen.

Käfer

• Im Moment können Dateien, die älter als die Sitzung sind, nicht abgerufen werden. Die Lösung kann darin bestehen, die Datei mit einer gewissen Funktion abzurufen und sie zu speichern.
  • UPDATE: Aufgrund der Unfähigkeit der Bibliothek WhatsApp-Web.js, Nachrichten per ID abzurufen. Dieser Fehler kann vorerst nicht behoben werden. Vielleicht gibt es eine andere Lösung, aber ich sehe es nicht.
    • Update 2: Der Fehler wurde mithilfe der Funktion fetchMessages() downloadQuotedMedia() WhatsApp-Web.js behoben.