Whatsapp_speech_to_text

whatsapp 연설 텍스트

이것은 Whisper와 Whatsapp-web.js를 사용하는 WhatsApp에 대한 음성-텍스트 응용 프로그램입니다.

설명

WhatsApp 웹에서 인증되면 작업자는 Whisper를 사용하여 Command! Tran과 함께 답장하는 모든 음성 메시지를 전사합니다. 현재 연락처 북에 저장된 연락처에서 메시지를 전사하도록 구성됩니다.

원래이 프로그램은 Google Cloud Speech를 사용했지만 이제는 가볍고 오픈 소스 음성 인식 엔진 인 Whisper를 사용합니다.

컴퓨터에서 모델을 직접 호스팅하지 않으려면 OpenAI API를 사용하여 오디오를 전사하는 main_openai_api 브랜치를 사용할 수 있습니다.

기여하려면 풀 요청을 보내십시오.

용법

전사하고 싶은 음성 메시지에 답장하십시오 ! Tran

서버 실행

• 이미지를 빌드하려면 docker-compose build 실행합니다
• 컨테이너를 실행하려면 docker-compose up 실행하려면 (분리하지 마십시오. QR이 터미널에 표시됩니다)

구성

• 모델을 선택하려면 Docker-Compose.yml 파일 내부의 x-shared-variables 에서 model_version 이라는 변수를 편집 할 수 있습니다. 기본 모델 : 작은
• 경로와 API 주소를 구성하려면 docker-compose.yml 파일 내부의 환경 변수를 편집합니다. 기본값은 다음과 같습니다.
  • host_address = whisper_api
  • chrome_data_path = "/app/data/"
• Docker 외부의 코드를 사용하려면 API 주소를 가리 키려면 index.js 파일에서 ENV 변수를 편집해야합니다.
• GPU 추가 및 편집을 사용하는 경우 필요에 따라 whisper_api 컨테이너의 다음 코드

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• 변수 편집 Node/Index.js 내부의 responseMsgHeader 및 responseMsgHeaderError . 자동 응답을 위해 메시지 헤더를 설정할 수 있습니다.

TODO

• "! tran"으로 오디오가 답장 된 경우에만 전사하십시오.
• 내 채팅에서 "! tran"을 보내고 오디오를 전사하십시오. 현재 연락처로 보내는 메시지 만 전사됩니다.
• 모델을 로컬로 저장하십시오
• https://github.com/ahmetoner/whisper-asr-webservice를 API로 사용할 수도 있습니다
• 환경 파일 추가.

버그

• 지금은 세션보다 오래된 파일을 가져올 수 없습니다. 솔루션은 일부 기능으로 파일을 검색하고 캐시하는 것일 수 있습니다.
  • 업데이트 : ID로 메시지를 검색 할 수없는 라이브러리가 불가능하기 때문에 지금은이 버그를 수정할 수 없습니다. 어쩌면 또 다른 해결책이 있지만 나는 그것을 보지 못합니다.
    • 업데이트 2 : 버그는 whatsapp-web.js의 fetchMessages() 를 사용하여 고정되었습니다 downloadQuotedMedia()