Whatsapp_speech_to_text

Pidato Whatsapp ke SMS

Ini adalah aplikasi ucapan-ke-teks untuk whatsapp yang menggunakan Whisper dan whatsapp-web.js, berjalan di Docker

Keterangan

Setelah diautentikasi di WhatsApp Web, pekerja akan menuliskan semua pesan suara yang Anda balas dengan perintah! Tran menggunakan Whisper. Saat ini, ini hanya dikonfigurasi untuk menyalin pesan dari kontak yang disimpan dalam buku kontak Anda.

Awalnya, program ini menggunakan Google Cloud Speech, tetapi sekarang menggunakan Whisper, yang merupakan mesin pengenalan suara open-source yang ringan.

Jika Anda tidak ingin meng -host model langsung di komputer Anda, Anda dapat menggunakan cabang Main_openai_API , yang menggunakan API OpenAI untuk menuliskan audio.

Jika Anda ingin berkontribusi, cukup kirim permintaan tarik.

Penggunaan

Cukup balas pesan suara yang ingin Anda transkrip dengan ! Tran

Menjalankan server

• Untuk membangun gambar run docker-compose build
• Untuk menjalankan wadah-container menjalankan docker-compose up (jangan lepaskan, QR akan ditampilkan di terminal)

Konfigurasi

• Untuk memilih model yang ingin Anda gunakan edit variabel yang disebut model_version di bawah X-shared-variable di dalam file docker-compose.yml. Model default: Tiny
• Untuk mengonfigurasi jalur dan alamat API mengedit variabel lingkungan di dalam file docker-compose.yml . Nilai defaultnya adalah:
  • Host_address = whisper_api
  • Chrome_data_path = "/app/data/"
• Jika Anda ingin menggunakan kode di luar Docker, Anda harus mengedit variabel Env dalam file index.js, untuk menunjuk ke alamat API Anda.
• Jika Anda menggunakan GPU Add dan Edit, untuk kebutuhan Anda, kode berikut dalam wadah Whisper_api

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Mengedit variabel responseMsgHeader dan responseMsgHeaderError di dalam node/index.js . Anda dapat mengatur header pesan untuk respons otomatis.

Todo

• Hanya ditranskripsi jika audio dijawab dengan "! Tran"
• Kirim "! Tran" dari obrolan saya dan juga menuliskan audio. Untuk saat ini hanya pesan yang dikirim melalui kontak yang akan ditranskripsikan.
• Simpan model secara lokal
• Mungkin menggunakan https://github.com/ahmetoner/whisper-asr-webservice sebagai API
• Tambahkan File Lingkungan.

Serangga

• Untuk saat ini file yang lebih tua dari sesi tidak dapat diambil. Solusi mungkin untuk mengambil file dengan beberapa fungsi dan menyimpannya.
  • UPDATE: Karena ketidakmampuan perpustakaan whatsapp-web.js untuk mengambil pesan dengan ID bug ini tidak dapat diperbaiki untuk saat ini. Mungkin ada solusi lain, tapi saya tidak melihatnya.
    • UPDATE 2: Bug telah diperbaiki menggunakan fungsi fetchMessages() dari whatsapp-web.js, fungsi yang menangani ini disebut downloadQuotedMedia()