ASRInferenceEngine

ASR 模型的推理伺服器

概述

這是一個基於 FastAPI 的伺服器，可作為應用程式和基於雲端的 AI 服務之間的介面。它側重於三個主要任務：

1. 將語音轉換為文字（轉錄）
2. 將文字轉換為語音
3. 將語音轉換為語音（以上兩者的組合）

目前，它使用 OpenAI 的 API 來提供這些服務，但它的設計是為了讓我們將來可以添加其他提供者。

特徵

1. 轉錄（語音轉文字）

   • 非同步檔案上傳和轉錄
   • 透過 WebSocket 進行串流轉錄

2. 文字轉語音

   • 使用各種語音選項將文字轉換為語音

3. 語音對語音

   • 將語音輸入轉換為文本，然後再轉換回語音
   • 支援透過 WebSocket 上傳檔案和串流傳輸

專案結構

 .
├── cloud_providers/
│   ├── base.py
│   └── openai_api_handler.py
├── server/
│   ├── main.py
│   ├── routers/
│   │   ├── transcribe.py
│   │   ├── tts.py
│   │   └── speech_to_speech.py
│   └── utils/
│       └── logger.py
|
└── requirements.txt
└── README.md

設定和安裝

1. 克隆儲存庫

2. 建立虛擬環境：

   python -m venv venv
   source venv/bin/activate

3. 安裝依賴項：

    pip install -r requirements
   

4. 設定環境變數：

    export OPENAI_API_KEY=your_openai_api_key
   

啟動伺服器

要啟動伺服器，請導航至專案目錄並運行：

 python server/main.py

這將啟動 FastAPI 伺服器，通常位於http://localhost:8000 。

• 有關 API 的更多詳細信息，請查看API docs

記錄

該應用程式使用旋轉文件處理程序進行日誌記錄，並為不同的組件提供單獨的日誌檔案：

• logs/main.log : 主應用程式日誌
• logs/transcription.log ：特定於轉錄的日誌
• logs/tts.log ：文字轉語音日誌
• logs/speech_to_speech.log ：語音轉語音日誌

錯誤處理

該應用程式包括針對各種場景的錯誤處理，包括 API 錯誤和 WebSocket 斷開連接。記錄錯誤並引發適當的 HTTP 異常。

可擴展性

該項目的設計考慮到了可擴展性。 base.py中的CloudProviderBase抽象基底類別允許輕鬆整合 OpenAI 以外的其他雲端提供者。

安全考慮

• 確保您的 OpenAI API 金鑰安全且不會在程式碼或版本控制中暴露。
• 伺服器目前允許 CORS 設定中的所有來源。在生產環境中，您應該將其限制為特定允許的來源。

未來的改進

1. 新增對其他雲端提供者（例如 Google Cloud、Azure）的支持
2. 為AI模型新增更多配置選項
3. 改進錯誤處理並提供更詳細的錯誤訊息

貢獻

歡迎貢獻！請隨時提交 Pull 請求。

執照

[在此指定您的許可證]