whisper node

chuchoter

NODE.JS BAISONS POUR LE MUSPORT D'OVENAI. Transcription effectuée locale.

Caractéristiques

• Transcriptions de sortie vers JSON (également .txt .srt .vtt)
• Optimisé pour le CPU (y compris le bras de silicium Apple)
• Précision d'horodatage en un seul mot

Installation

1. Ajouter une dépendance au projet

 npm install whisper-node

2. Télécharger le modèle de chuchotement de choix [Facultatif]

 npx whisper-node download

Exigence pour Windows: Installez la commande make à partir d'ici.

Usage

 import whisper from 'whisper-node' ;

const transcript = await whisper ( "example/sample.wav" ) ;

console . log ( transcript ) ; // output: [ {start,end,speech} ]

Sortie (JSON)

 [
  {
    "start" :  "00:00:14.310" , // time stamp begin
    "end" :    "00:00:16.480" , // time stamp end
    "speech" : "howdy"         // transcription
  }
]

Liste complète des options

 import whisper from 'whisper-node' ;

const filePath = "example/sample.wav" ; // required

const options = {
  modelName : "base.en" ,       // default
  // modelPath: "/custom/path/to/model.bin", // use model in a custom directory (cannot use along with 'modelName')
  whisperOptions : {
    language : 'auto'          // default (use 'auto' for auto detect)
    gen_file_txt : false ,      // outputs .txt file
    gen_file_subtitle : false , // outputs .srt file
    gen_file_vtt : false ,      // outputs .vtt file
    word_timestamps : true     // timestamp for every word
    // timestamp_size: 0      // cannot use along with word_timestamps:true
  }
}

const transcript = await whisper ( filePath , options ) ;

Format de fichier d'entrée

Les fichiers doivent être .wav et 16Hz

Exemple de fichier .mp3 Converti avec une commande ffmpeg: ffmpeg -i input.mp3 -ar 16000 output.wav

Fait avec

• Whisper Openai (en utilisant le port C ++ par: Ggerganov)
• Coquille

Feuille de route

• Soutenir les projets n'utilisant pas de dactylographie
• Autoriser le répertoire personnalisé pour stocker les modèles
• Les fichiers de configuration comme alternative au modèle de téléchargement CLI
• Retirez le chemin , ShellJS et le package de synchronisation rapide pour le navigateur, la compatibilité React-Native et WebAssembly
• Cluent-Ffmpeg pour se convertir automatiquement en fichiers .wav 16Hz ainsi que pour prendre en charge la séparation de l'audio de la vidéo
• Diarisation des pyanote pour les noms de haut-parleurs
• Implémentez Whisperx comme modèle alternatif facultatif pour la diarisation et les horodatages de précision plus élevés (comme alternative à la version C ++)
• Ajouter une option pour afficher le langauge détecté comme décrit dans le numéro 16
• Inclure des types de typescriptages de type dans le fichier d.ts
• Ajouter l'option de prise en charge de la langue
• Ajouter la prise en charge de la transcription des flux audio comme déjà implémenté dans whisper.cpp

Modification des chuchotes

npm run dev - Exécute NODEMON et TSC sur '/src/test.ts'

npm run build - Exécute TSC, sortira vers '/ Dist' et donne sa permission à 'Dist / Download.js'

Remerciements

• Georgi Gerganov
• Ari