首頁>編程相關>其他源碼
下載

使用

用語音錄音機，實時轉錄和內置的言語錄音機，內置的React Hook for Openai Whisper API

  • 演示

  • 實時轉錄演示
使用 - 真實的時間轉錄.mp4

  • 公告

    正在開發對本機的使用。

存儲庫：https：//github.com/chengsokdara/use-whisper-native

進度：Chengsokdara/使用 - 旋轉的＃1

  • 安裝

 npm i @chengsokdara/use-whisper

 yarn add @chengsokdara/use-whisper

  • 用法

 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const {
    recording ,
    speaking ,
    transcribing ,
    transcript ,
    pauseRecording ,
    startRecording ,
    stopRecording ,
  } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
  } )

  return (
    < div >
      < p > Recording: { recording } < / p >
      < p > Speaking: { speaking } < / p >
      < p > Transcribing: { transcribing } < / p >
      < p > Transcribed Text: { transcript . text } < / p >
      < button onClick = { ( ) => startRecording ( ) } > Start < / button >
      < button onClick = { ( ) => pauseRecording ( ) } > Pause < / button >
      < button onClick = { ( ) => stopRecording ( ) } > Stop < / button >
    < / div >
  )
}
  • 自定義服務器（保持OpenAI API代幣安全） 
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  /**
   * you have more control like this
   * do whatever you want with the recorded speech
   * send it to your own custom server
   * and return the response back to useWhisper
   */
  const onTranscribe = ( blob : Blob ) => {
    const base64 = await new Promise < string | ArrayBuffer | null > (
      ( resolve ) => {
        const reader = new FileReader ( )
        reader . onloadend = ( ) => resolve ( reader . result )
        reader . readAsDataURL ( blob )
      }
    )
    const body = JSON . stringify ( { file : base64 , model : 'whisper-1' } )
    const headers = { 'Content-Type' : 'application/json' }
    const { default : axios } = await import ( 'axios' )
    const response = await axios . post ( '/api/whisper' , body , {
      headers ,
    } )
    const { text } = await response . data
    // you must return result from your server in Transcript format
    return {
      blob ,
      text ,
    }
  }

  const { transcript } = useWhisper ( {
    // callback to handle transcription with custom server
    onTranscribe ,
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}

  • 例子

  • 實時流trascription 
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const { transcript } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
    streaming : true ,
    timeSlice : 1_000 , // 1 second
    whisperConfig : {
      language : 'en' ,
    } ,
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}
  • 在發送竊竊私語之前刪除沉默以節省成本
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const { transcript } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
    // use ffmpeg-wasp to remove silence from recorded speech
    removeSilence : true ,
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}
  • 自動開始在安裝的組件上錄製
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const { transcript } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
    // will auto start recording speech upon component mounted
    autoStart : true ,
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}
  • 只要用戶說話，請繼續錄製
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const { transcript } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
    nonStop : true , // keep recording as long as the user is speaking
    stopTimeout : 5000 , // auto stop after 5 seconds
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}
  • 自動轉錄為TRUE時自定義Whisper API配置
 import { useWhisper } from '@chengsokdara/use-whisper'

const App = ( ) => {
  const { transcript } = useWhisper ( {
    apiKey : process . env . OPENAI_API_TOKEN , // YOUR_OPEN_AI_TOKEN
    autoTranscribe : true ,
    whisperConfig : {
      prompt : 'previous conversation' , // you can pass previous conversation for context
      response_format : 'text' , // output text instead of json
      temperature : 0.8 , // random output
      language : 'es' , // Spanish
    } ,
  } )

  return (
    < div >
      < p > { transcript . text } < / p >
    < / div >
  )
}

  • 依賴性

    • @chengsokdara/react-hooks-async異步鉤鉤
    • RecordRTC：跨瀏覽器錄音機
    • lamejs將WAV編碼為MP3以進行跨瀏覽器支持
    • @ffmpeg/ffmpeg：用於沉默清除功能
    • Hark：進行演講檢測
    • Axios：由於獲取不適用於耳語端點

這些依賴性大多數是懶惰的，因此僅在需要時導入它

  • API

  • 配置對象
姓名類型預設值描述
Apikey細繩''您的Openai API令牌
Autostart布爾錯誤的在組件安裝座上自動啟動演講錄製
自動轉錄布爾真的停止錄製後應自動轉錄
模式細繩轉錄控制耳語模式要么轉錄或翻譯，目前僅支持翻譯為英語
馬不停蹄布爾錯誤的如果為true，記錄將在停止時間之後自動停止。但是，如果用戶繼續講話，錄音機將繼續錄製
消除布爾錯誤的在將文件發送到OpenAI API之前刪除沉默
停止時間數字5,000毫秒如果不間斷，這將成為必需。當錄音機自動停止時，此控件
流布爾錯誤的基於時光實時轉錄演講
時光數字1000毫秒每個ondataavailable事件之間的間隔
Whisperconfig hisperapiconfig不明確的耳語API轉錄配置
Ondataavailable （斑點：斑點）=> void不明確的在時膠之間間隔以錄製斑點的回調功能
ontranscribe （Blob：Blob）=> Promise <tresmcript>不明確的回調功能以處理您自己的自定義服務器上的轉錄
  • hisperapiconfig
姓名類型預設值描述
迅速的細繩不明確的可選的文本，可指導模型的樣式或繼續以前的音頻段。提示應匹配音頻語言。
Response_format細繩JSON成績單輸出的格式，其中一種選項之一：JSON，文本，SRT，Verbose_json或VTT。
溫度數字0抽樣溫度在0到1之間。較高的值等值等於0.8將使輸出更隨機，而較低的值等於0.2將使其更加集中和確定性。如果設置為0，則該模型將使用對數概率自動增加溫度，直到點擊某些閾值為止。
語言細繩en輸入音頻的語言。提供ISO-639-1格式的輸入語言將提高準確性和延遲。
  • 返回對象
姓名類型描述
記錄布爾語音記錄狀態
請講布爾檢測用戶何時說話
轉錄布爾同時從演講中消除沉默並將請求發送到Openai Whisper API
成績單成績單對像在低語轉錄完成後返回
pauserecording承諾暫停語音記錄
Startrecording承諾啟動語音記錄
停止記錄承諾停止語音記錄
  • 成績單
姓名類型描述
斑點斑點在JavaScript Blob中錄製的演講
文字細繩從Whisper API返回的抄錄文本

  • 路線圖

    • 反應本地支持將以使用旋轉/本地的方式導出

與我聯繫以獲取Web或移動應用程序開發，使用React或React本地
https://chengsokdara.github.io

展開
附加信息
相關應用
爲您推薦
相關資訊 全部