whisper node

耳語節點

node.js bindings to Openai的耳語。轉錄本地完成。

特徵

• 輸出筆錄到JSON （也.txt .srt .vtt）
• 針對CPU優化（包括蘋果矽臂）
• 時間戳精確到單詞

安裝

1. 增加項目的依賴

 npm install whisper-node

2. 下載首選耳語模型[可選]

 npx whisper-node download

Windows的要求：從此處安裝make命令。

用法

 import whisper from 'whisper-node' ;

const transcript = await whisper ( "example/sample.wav" ) ;

console . log ( transcript ) ; // output: [ {start,end,speech} ]

輸出（JSON）

 [
  {
    "start" :  "00:00:14.310" , // time stamp begin
    "end" :    "00:00:16.480" , // time stamp end
    "speech" : "howdy"         // transcription
  }
]

完整選項列表

 import whisper from 'whisper-node' ;

const filePath = "example/sample.wav" ; // required

const options = {
  modelName : "base.en" ,       // default
  // modelPath: "/custom/path/to/model.bin", // use model in a custom directory (cannot use along with 'modelName')
  whisperOptions : {
    language : 'auto'          // default (use 'auto' for auto detect)
    gen_file_txt : false ,      // outputs .txt file
    gen_file_subtitle : false , // outputs .srt file
    gen_file_vtt : false ,      // outputs .vtt file
    word_timestamps : true     // timestamp for every word
    // timestamp_size: 0      // cannot use along with word_timestamps:true
  }
}

const transcript = await whisper ( filePath , options ) ;

輸入文件格式

文件必須為.wav和16Hz

示例.mp3文件使用ffmpeg命令轉換： ffmpeg -i input.mp3 -ar 16000 output.wav

製成

• Whisper Openai（使用C ++端口：Ggerganov）
• shelljs

路線圖

• 支持項目不使用打字稿
• 允許自定義目錄存儲模型
• 配置文件作為模型下載CLI的替代方案
• 刪除用於瀏覽器，React-Native Expo和WebAssembly兼容性的路徑， ShellJ和及時的合成軟件包
• fluent-ffmpeg將自動轉換為16Hz .wav文件，並支持將音頻與視頻分開
• 揚聲器名稱的Pyanote診斷
• 實施耳語作為可選的診斷模型和更高的精度時間戳（作為C ++版本的替代品）
• 如第16期所述，添加以查看檢測到的Langauge的選項
• 在d.ts文件中包括打字條字樣類型
• 添加對語言選項的支持
• 添加對轉錄音頻流的支持，如Whisper.cpp中已經實現

修改耳語節點

npm run dev在'/src/test.ts'上運行nodemon和tsc

npm run build - 運行TSC，輸出到'/dist'，並允許sh授予'dist/download.js'

致謝

• Georgi Gerganov
• 阿里