whisper node

Nó sussurro

Node.js ligações para o sussurro de Openai. Transcrição feita local.

Características

• Transcrições de saída para json (também .txt .srt .vtt)
• Otimizado para CPU (incluindo Apple Silicon Arm)
• Timestamp Precision to Single Word

Instalação

1. Adicione dependência ao projeto

 npm install whisper-node

2. Download Modelo de Whisper de escolha [Opcional]

 npx whisper-node download

Requisito para Windows: Instale o comando make a partir daqui.

Uso

 import whisper from 'whisper-node' ;

const transcript = await whisper ( "example/sample.wav" ) ;

console . log ( transcript ) ; // output: [ {start,end,speech} ]

Saída (JSON)

 [
  {
    "start" :  "00:00:14.310" , // time stamp begin
    "end" :    "00:00:16.480" , // time stamp end
    "speech" : "howdy"         // transcription
  }
]

Lista de opções completas

 import whisper from 'whisper-node' ;

const filePath = "example/sample.wav" ; // required

const options = {
  modelName : "base.en" ,       // default
  // modelPath: "/custom/path/to/model.bin", // use model in a custom directory (cannot use along with 'modelName')
  whisperOptions : {
    language : 'auto'          // default (use 'auto' for auto detect)
    gen_file_txt : false ,      // outputs .txt file
    gen_file_subtitle : false , // outputs .srt file
    gen_file_vtt : false ,      // outputs .vtt file
    word_timestamps : true     // timestamp for every word
    // timestamp_size: 0      // cannot use along with word_timestamps:true
  }
}

const transcript = await whisper ( filePath , options ) ;

Formato de arquivo de entrada

Os arquivos devem ser .wav e 16Hz

Exemplo .mp3 Arquivo convertido com um comando ffmpeg: ffmpeg -i input.mp3 -ar 16000 output.wav

Feito com

• Whisper Openai (usando a porta C ++ por: Ggerganov)
• Shelljs

Roteiro

• Projetos de suporte que não usam o TypeScript
• Permitir diretório personalizado para armazenar modelos
• Arquivos de configuração como alternativa para modelar o download da CLI
• Remova o caminho , shelljs e pacote de sincronização rápida para o navegador, a exposição de react-native e a compatibilidade com o WebAssembly
• Fluent-ffmpeg para converter automaticamente em arquivos 16Hz .wav, bem como apoiar a separação de áudio do vídeo
• Diarização de pyanote para nomes de alto -falantes
• Implementar o Whisperx como modelo alternativo opcional para diarização e registro de data e hora de maior precisão (como versão alternativa ao C ++)
• Adicionar opção para visualizar Langauge detectado, conforme descrito na edição 16
• Inclua TypeScript Typescript Tys in d.ts File
• Adicione suporte para a opção de idioma
• Adicione suporte para transcrever fluxos de áudio como já implementado no sussurro.cpp

Modificando o nó sussurro

npm run dev - executa Nodemon e TSC em '/src/test.ts'

npm run build - executa o TSC, saídas para '/dist' e dá permissão para 'dist/download.js'

Agradecimentos

• Georgi Gerganov
• Ari