Whatsapp_speech_to_text

خطاب whatsapp إلى رسالة نصية

هذا تطبيق للكلام إلى النص لـ WhatsApp يستخدم Whisper و WhatsApp-web.js ، يعمل على Docker

وصف

بمجرد المصادقة على WhatsApp Web ، يقوم العامل بنسخ جميع الرسائل الصوتية التي ترد عليها مع الأمر! Tran باستخدام Whisper. حاليًا ، تم تكوينه فقط لنسخ الرسائل من جهات الاتصال المحفوظة في كتاب الاتصال الخاص بك.

في الأصل ، استخدم البرنامج خطاب Google Cloud ، لكنه يستخدم الآن Whisper ، وهو محرك التعرف على الكلام خفيف الوزن ومفتوح المصدر.

إذا كنت لا ترغب في استضافة النموذج مباشرة على جهاز الكمبيوتر الخاص بك ، فيمكنك استخدام فرع Main_openai_api ، والذي يستخدم API Openai لنسخ الصوت.

إذا كنت ترغب في المساهمة ، فما عليك سوى إرسال طلب سحب.

الاستخدام

فقط قم بالرد على الرسالة الصوتية التي تريد نسخها مع ! Tran

تشغيل الخادم

• لإنشاء الصور ، قم بتشغيل docker-compose build
• لتشغيل الحاويات تعمل على تشغيل docker-compose up (لا تنفصل ، سيتم عرض QR في المحطة)

إعدادات

• لاختيار النموذج الذي تريد استخدامه تحرير المتغير يسمى Model_version ضمن متغيرات X-Sharked داخل ملف Docker-corm.yml. النموذج الافتراضي: صغير
• لتكوين المسار وعنوان API ، قم بتحرير متغيرات البيئة داخل ملف docker-compose.yml . القيم الافتراضية هي:
  • Host_address = Whisper_api
  • chrome_data_path = "/app/data/"
• إذا كنت ترغب في استخدام الرمز الخارجي Docker ، فستحتاج إلى تحرير متغيرات ENV في ملف index.js ، للإشارة إلى عنوان API الخاص بك.
• إذا كنت تستخدم إضافة وتحرير GPU ، إلى احتياجاتك ، فإن الكود التالي في حاوية Whisper_api

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• تحرير المتغيرات responseMsgHeader و responseMsgHeaderError داخل العقدة/index.js . يمكنك إعداد رأس الرسالة للاستجابة التلقائية.

تودو

• نسخ فقط إذا تم الرد على الصوت بـ "! Tran"
• أرسل "! tran" من الدردشة الخاصة بي وأيضًا نسخ الصوت. في الوقت الحالي ، سيتم نسخ الرسائل فقط عن طريق جهات الاتصال.
• احفظ النماذج محليًا
• ربما استخدم https://github.com/ahmetoner/whisper-asr-webservice كأبي آpi
• إضافة ملف البيئة.

البق

• في الوقت الحالي ، لا يمكن جلب الملفات الأكبر سناً من الجلسة. قد يكون الحل لاسترداد الملف مع بعض الوظائف وذاكرة التخزين المؤقت.
  • تحديث: نظرًا لعدم قدرة مكتبة WhatsApp.b.js على استرداد الرسائل حسب المعرف ، لا يمكن إصلاح هذا الخطأ في الوقت الحالي. ربما هناك حل آخر ، لكنني لا أراه.
    • تحديث 2: تم إصلاح الخلل باستخدام الدالة fetchMessages() من whatsapp-web.js ، الوظيفة التي تتعامل مع هذا يسمى downloadQuotedMedia()