whisper node

Flüsterknoten

Node.js Bindungen für OpenAIs Flüstern. Transkription lokal gemacht.

Merkmale

• Ausgabetranskripte an JSON (auch .txt .srt .vtt)
• Optimiert für CPU (einschließlich Apple -Siliziumarm)
• Zeitstempelpräzision zum einzelnen Wort

Installation

1. Project Abhängigkeit hinzufügen

 npm install whisper-node

2. Download Whisper -Modell der Wahl [optional]

 npx whisper-node download

Anforderung für Windows: Installieren Sie den Befehl make von hier.

Verwendung

 import whisper from 'whisper-node' ;

const transcript = await whisper ( "example/sample.wav" ) ;

console . log ( transcript ) ; // output: [ {start,end,speech} ]

Ausgabe (JSON)

 [
  {
    "start" :  "00:00:14.310" , // time stamp begin
    "end" :    "00:00:16.480" , // time stamp end
    "speech" : "howdy"         // transcription
  }
]

Vollständige Optionenliste

 import whisper from 'whisper-node' ;

const filePath = "example/sample.wav" ; // required

const options = {
  modelName : "base.en" ,       // default
  // modelPath: "/custom/path/to/model.bin", // use model in a custom directory (cannot use along with 'modelName')
  whisperOptions : {
    language : 'auto'          // default (use 'auto' for auto detect)
    gen_file_txt : false ,      // outputs .txt file
    gen_file_subtitle : false , // outputs .srt file
    gen_file_vtt : false ,      // outputs .vtt file
    word_timestamps : true     // timestamp for every word
    // timestamp_size: 0      // cannot use along with word_timestamps:true
  }
}

const transcript = await whisper ( filePath , options ) ;

Eingabedateiformat

Dateien müssen .wav und 16Hz sein

Beispiel .mp3 Datei mit einem FFMPEG -Befehl konvertiert: ffmpeg -i input.mp3 -ar 16000 output.wav

Gemacht mit

• Flüstere openai (mit c ++ port von: ggerganov)
• Shelljs

Roadmap

• Unterstützen Sie Projekte, die nicht TypeScript verwenden
• Ermöglichen Sie ein benutzerdefiniertes Verzeichnis zum Speichern von Modellen
• Konfigurationsdateien als Alternative zum Modell Download CLI
• Entfernen Sie Pfad- , ShellJS- und prompt-sync
• Fluent-FFMPEG, um automatisch in 16-Hz-WAV-Dateien umzuwandeln und die Trennung von Audio von Video zu unterstützen
• Pyanote -Diarisierung für Sprechernamen
• Implementieren Sie Whisperx als optionales alternatives Modell für die Diarisierung und höhere Genauigkeitszeitstempel (als Alternative zur C ++ - Version)
• Fügen Sie die Option zum Anzeigen von Langauge hinzu, wie in Ausgabe 16 beschrieben
• Fügen Sie Typenkript -Typscript -Typen in d.ts -Datei ein
• Fügen Sie Unterstützung für die Sprachoption hinzu
• Fügen Sie Unterstützung für die Transkription von Audio -Streams hinzu, wie bereits in Whisper.cpp implementiert

Ändern von Flüsterknoten

npm run dev - Leitet Nodemon und TSC auf '/src/test.ts' '

npm run build - Läuft TSC, gibt an '/dist' ausgegeben und ermöglicht die Erlaubnis zu 'dist/download.js' '

Anerkennung

• Georgi Gerganov
• Ari